Excel 데이터로 GPT를 무료로 훈련하는 방법? (베타)

코디 지식창고에 Excel 데이터를 추가하고 ChatGPT를 무료로 교육하는 방법에 대한 가이드입니다.

회사의 Excel 데이터에 대한 Cody의 학습을 시작하기 전에 봇에서 최상의 응답을 보장하기 위해 몇 가지 개념을 명확히 해야 합니다. GPT(Generative Pre-Trained Transformers)는 문장이나 구의 다음 단어를 예측하여 완성하기 위해 광범위한 데이터 세트에서 훈련된 언어 모델입니다. 그들은 구조화되지 않은 대화 또는 리터럴 데이터의 대규모 샘플로 구성된 자연어 데이터 세트에 대해 특별히 훈련됩니다. 선형 회귀와 같은 통계 모델과 달리 GPT는 논리적 학습 데이터를 사용하여 숫자를 예측하는 데 능숙하지 않습니다. 예를 들어, 2+2=5를 주장하는 데이터 세트에서 GPT를 훈련하는 경우 논리적 불일치를 이해하려고 시도하지 않고 2+2=5라고 응답합니다(이것은 단지 예일 뿐입니다. OpenAI는 정확한 응답으로 이러한 쿼리를 처리합니다. 이것은 환각이라는 LLM의 또 다른 한계와 결합되어 수학적 계산에 적합하지 않은 환경을 만듭니다.

1단계: Excel 데이터 변환

봇을 훈련시키려는 CSV 또는 Excel 데이터를 가져와 당사에서 만든 이 유틸리티를 사용하여 텍스트 파일로 변환합니다. 이 유틸리티는 해당 헤더로 데이터에 주석을 달아 Excel 데이터를 텍스트 파일로 변환합니다. 머리글로 셀 항목에 주석을 달면 전처리 단계에서 문서 분할로 인해 머리글을 건너뛸 가능성이 높기 때문에 언어 모델이 컨텍스트를 더 잘 이해할 수 있습니다.

예.

엑셀 데이터:

텍스트 데이터:

{The Name is ‘John’. The Age is ‘16’.}, {The Name is ‘Marie’. The Age is ‘18’.}

생성된 텍스트 파일은 JSON과 유사한 형식을 따르지만 더 인간적인 느낌을 제공하기 위해 더 문학적인 스타일을 사용합니다. 이 솔루션은 현재 실험 단계에 있으며 아직 Cody 앱에 통합되지 않았지만 세 가지 GPT 모델 모두에서 잘 작동하지만 이를 위해 더 나은 솔루션을 지속적으로 모색하고 있습니다.

유틸리티 인터페이스:

샘플 CSV 데이터:

봇에서 최상의 응답 품질을 얻기 위해 변환하기 전에 데이터를 정리하는 것이 좋습니다.

CSV 또는 Excel 데이터를 유틸리티에 업로드한 후 GPT 호환 텍스트 파일을 생성하기 전에 데이터를 미리 볼 수 있습니다.

부품당 행 수: 더 큰 데이터 세트의 경우 데이터 세트를 여러 부분으로 나누는 것이 좋습니다. 이 구분은 의미 체계 검색을 개선하고 응답의 품질을 향상시킵니다.

셀 참조 포함: 텍스트 파일에 Excel 셀 참조를 포함하려면 이 옵션을 선택할 수 있습니다. 그런 다음 봇은 Excel에서 수행할 수 있는 작업에 대한 단계별 가이드를 만들 때 이러한 셀 참조를 참조할 수 있습니다. 예를 들어 중앙값을 찾는 수식을 생성할 수 있습니다.

Excel 데이터의 모든 부분을 .txt 형식으로 포함하는 압축된 zip 폴더가 생성됩니다.

2단계: Cody 기술 자료에 데이터 추가

변환된 데이터를 Cody 기술 자료에 추가하려면 다음과 같이 하십시오.

1. Cody 애플리케이션으로 이동하여 “콘텐츠” 섹션으로 이동합니다.
2. 기술 자료 내에 데이터를 저장할 새 폴더를 만듭니다.
3. 폴더가 만들어지면 폴더 내부를 탐색합니다.
4. “업로드” 버튼을 클릭하여 변환된 데이터를 업로드합니다.
5. 기술 자료에 추가하려는 로컬 저장소에서 변환된 모든 데이터 파일을 선택합니다.
6. 선택을 확인하고 업로드 프로세스를 시작합니다.
7. 변환된 데이터 파일이 업로드되어 사용자가 만든 폴더 내에 저장된 Cody 기술 자료에 추가됩니다. 문서가 성공적으로 학습되면 문서 상태가 ‘학습됨’으로 표시됩니다.

3단계: 봇 성격 설정

아직 실험 단계이므로 템플릿 모드에 추가하기 전에 프롬프트를 개선하기 위해 노력하고 있습니다.

프롬프트:

당신은 우리 회사의 AI 데이터 분석가인 Data Cody입니다. 주요 목표는 제공된 Excel 데이터에서 추론을 생성하는 것입니다. Excel 셀 참조는 $Cell 형식으로 제공될 수 있습니다. 응답에서 셀 참조를 언급하지 마십시오. ‘{}’에 포함된 정보는 하나의 레코드입니다. 특정 레코드의 세부 정보를 묻는 메시지가 표시되면 포인터에 나열하십시오.

시스템 프롬프트 :

세부 사항에 대해 물었을 때 인간과 같은 방식으로 응답하십시오. 당신의 대답을 정당화하지 마십시오.

이 프로세스는 세 가지 GPT 모델 모두에서 잘 작동하므로 무료 요금제를 사용 중이더라도 시도해 볼 수 있습니다. 그러나 GPT-3.5 16K 및 GPT-4 모델이 데이터를 더 잘 이해하는 경향이 있다는 점은 주목할 가치가 있습니다. 무료 요금제에서 받은 답변에 만족하지만 응답 형식을 더 유연하게 지정하고 여러 레코드를 비교할 수 있는 기능을 원하는 경우 GPT-3.5 16K 또는 GPT-4로 업그레이드하는 것이 도움이 될 수 있습니다. 이러한 모델에서 제공하는 추가 컨텍스트 창을 통해 데이터를 보다 포괄적으로 분석하고 조작할 수 있습니다.

데모

첫 번째 쿼리에 대한 참조:

두 번째 쿼리에 대한 참조:

제한

Excel 또는 CSV 파일을 Cody에 업로드하는 기능이 Google 스프레드시트 또는 Microsoft Excel과 같은 스프레드시트 도구의 직접적인 대안이 되는 것은 아닙니다. Cody에서 구조화된 데이터로 작업할 때 고려해야 할 몇 가지 제한 사항이 있습니다.

1. 분석 작업 중 환각 : Cody에게 평균, 중앙값 또는 최소/최대값을 요청하는 것과 같이 통계적 또는 분석적 계산과 관련된 작업은 잘못된 응답을 생성할 수 있습니다. Cody는 실시간 계산을 수행하지 않으며 부정확한 결과를 제공할 수 있습니다. 코드 인터프리터 및 함수 호출과 같은 OpenAI의 최근 업데이트는 향후 이를 개선할 수 있습니다.
2. 레코드를 비교하는 동안 오류가 발생했습니다. 경우에 따라 Cody는 문서의 다른 세그먼트에서 데이터를 가져오는 데 어려움을 겪을 수 있으며, 그 결과 정보를 사용할 수 없다는 응답이 발생할 수 있습니다. 이 시나리오는 무료 요금제에서 사용할 수 있는 GPT-3.5 모델에서 더 가능성이 높습니다. 베이직 또는 프리미엄 요금제로 업그레이드하면 GPT-3.5 16K 모델 또는 GPT-4 모델을 사용할 수 있습니다. 이 두 모델 모두 컨텍스트 창이 더 커서 이러한 제한을 잠재적으로 해결할 수 있습니다.

결론

이러한 제한 사항에도 불구하고 이 프로세스는 비즈니스 FAQ 데이터 또는 기타 리터럴 데이터(예: 직원 교육 데이터)가 Excel 또는 CSV 형식으로 저장되는 시나리오에 특히 유용합니다. Cody는 수정할 필요 없이 이 데이터에 대해 학습할 수 있습니다. 또한 Cody는 단일 레코드의 세부 정보를 가져오거나, 데이터를 설명하거나, 대차 대조표 또는 판매 수치와 같은 수치 데이터 세트에서 유추된 인사이트를 기반으로 제안을 제공할 때 뛰어난 성과를 거두었습니다.

Excel 또는 CSV 데이터에 대해 Cody를 교육하기 위한 임시 솔루션으로, 이 접근 방식에 대한 피드백을 보내 주셔서 대단히 감사합니다. 우리는 귀하의 의견을 소중히 여기며 Discord 서버에서 또는 도움 받기 기능을 통해 연락하여 의견을 공유해 주시기 바랍니다. 우리는 귀하의 경험에 대해 듣고 귀하의 피드백에서 더 많은 것을 배우기를 열망합니다. Excel 데이터에 대한 GPT를 무료로 교육하는 저희의 접근 방식이 마음에 드셨기를 바랍니다. Cody에 대해 자세히 알아보려면 블로그 를 확인하세요.