Cody는 문서를 사용하여 응답을 어떻게 생성합니까?
Cody를 시작할 때 Cody가 예상한 응답을 생성할 수 없는 이유에 대해 실망하거나 낙담할 수 있습니다. 이 짧은 블로그에서는 Cody를 어떻게 사용해야 하는지에 대해 자세히 설명하지는 않지만 Cody가 문서를 사용하여 응답을 생성하는 방법에 대한 대략적인 아이디어를 제공하여 생성 프로세스를 더 잘 이해하고 실험할 수 있도록 합니다.
두 가지 주요 요인은 주로 문서를 사용한 응답 생성에 영향을 미칩니다.
- 청크
- 컨텍스트 창
이 두 용어인 청크와 컨텍스트 창은 상호 연관되어 있습니다. 반응 생성을 음식 조리와 비교하기 위해 간단한 비유를 할 수 있습니다. 청크는 잘라낸 개별 야채 조각으로 볼 수 있으며 컨텍스트 창은 조리 도구의 크기를 나타냅니다. 전체적인 맛을 향상시키기 위해 야채를 최적의 크기로 자르는 것이 중요하며, 더 큰 도구를 사용하면 더 많은 야채 조각을 추가할 수 있습니다.
청킹이란 무엇입니까?
간단히 말해서 청크는 메모리를 효율적으로 사용하기 위해 콘텐츠를 관리 가능한 조각으로 나누는 작업입니다. 블로그를 읽었다면 GPT와 같은 모델에는 상당한 리소스가 필요하며 컨텍스트 창의 제약 조건을 해결하기 위해 청크와 같은 여러 프로세스를 사용한다는 것을 알고 있을 것입니다.
청크는 문서를 Cody에 업로드한 후 수행되는 프로세스입니다. 문서를 여러 청크로 나누거나 분할하며 각 청크에는 관련 주변 컨텍스트가 포함됩니다. 그런 다음 이러한 청크에는 더 쉬운 계산을 위해 숫자 태그가 할당되며, 이를 임베딩이라고 합니다. 최적의 청크 크기를 찾는 것이 중요합니다. 청크 크기가 작을수록 컨텍스트 관련성이 떨어지고 청크 크기가 클수록 더 많은 노이즈가 발생합니다. Cody의 청크 알고리즘은 사용자가 설정한 토큰 배포에 따라 청크 크기를 동적으로 조정합니다.
컨텍스트 창은 봇 응답에 어떤 영향을 주나요?
성격 프롬프트, 관련성 점수 등과 같은 다양한 요소가 봇 응답의 품질에 영향을 미칩니다. 모델의 컨텍스트 창도 품질을 결정하는 데 중요한 역할을 합니다. 컨텍스트 창은 LLM(언어 모델)이 단일 호출로 처리할 수 있는 텍스트의 양을 나타냅니다. Cody는 임베딩 및 컨텍스트 삽입을 활용하여 OpenAI 모델을 사용하여 답변을 생성하므로 컨텍스트 창이 클수록 각 쿼리에서 모델에서 더 많은 데이터를 수집할 수 있습니다.
💡 각 쿼리(컨텍스트 창 ≤ ) = 봇 성격 + 지식 청크 + 기록 + 사용자 입력 + 응답
다른 모델의 컨텍스트 창:
- GPT-3.5: 4096 토큰 (≈3500 단어)
- GPT-3.5 16K: 16000 토큰 (≈13000 단어)
- GPT-4: 8000 토큰 (≈7000 단어)
컨텍스트 창이 더 클수록 Personality, Chunks, History, Input 및 Response를 포함한 각 매개 변수의 비율이 더 커집니다. 이 확장된 컨텍스트를 통해 봇은 본질적으로 더 관련성 있고 일관성 있고 창의적인 응답을 생성할 수 있습니다.
Cody의 최신 추가 기능을 통해 사용자는 응답 끝에 있는 문서 이름을 클릭하여 문서 인용을 확인할 수 있습니다. 이러한 인용은 의미론적 검색을 통해 얻은 청크에 해당합니다. Cody는 사용자가 설정한 관련성 점수에 따라 컨텍스트에 대한 청크 임계값을 결정합니다. 사용자가 높은 관련성 점수를 설정하면 Cody는 미리 정의된 임계값을 초과하는 청크만 답변을 생성하기 위한 컨텍스트로 사용합니다.
본보기
높은 관련성 점수에 대해 미리 정의된 임계값 제한 값이 90%라고 가정하면 Cody는 관련성 점수가 90% 미만인 청크를 삭제합니다. 신규 사용자는 특히 업로드된 문서(PDF, 파워포인트, Word 등) 또는 웹 사이트를 사용할 때 낮은 관련성 점수(낮음 또는 균형 조정)로 시작하는 것이 좋습니다. 업로드된 문서 또는 웹 사이트는 사전 처리 중에 형식 및 가독성 문제가 발생할 수 있으며, 이로 인해 관련성 점수가 낮아질 수 있습니다. 원시 문서를 업로드하는 대신 내장된 텍스트 편집기를 사용하여 문서 서식을 지정하면 최고의 정확성과 신뢰 점수를 얻을 수 있습니다.
이 블로그가 흥미로웠고 컨텍스트 창 및 청크의 개념에 대해 더 깊이 파고들고 싶다면 All About AI의 Kristian이 작성한 이 블로그 를 읽는 것이 좋습니다. 더 많은 리소스를 보려면 도움말 센터를 확인하고 Discord 커뮤니티에 가입할 수도 있습니다.
