Author: Om Kamath

비즈니스 요구 사항을 충족하기 위해 자체 AI를 구축하기 위한 단계별 가이드입니다.

봇의 응용 프로그램은 방대하며 생성 모델의 봇 활용도가 증가함에 따라 시류에 편승하여 자신만의 ChatGPT를 구축하고 싶은 유혹을 느낄 수 있습니다. Cody의 출시로 AI 챗봇 구축이 그 어느 때보다 쉬워졌습니다. Cody의 모델에 구애받지 않고 코드가 없는 인터페이스는 존재하는 모든 개인 및 비즈니스 도메인에서 개인 AI에 액세스할 수 있도록 합니다. 그러나 Cody는 전체 프로세스를 가능한 한 간단하게 만들기 위해 노력하지만 AI 세계를 처음 접하는 사람에게는 약간 위협적일 수 있습니다. 그렇기 때문에 이 블로그에서는 Cody를 사용하여 자신만의 ChatGPT를 구축하는 방법에 대한 종단 간 설명을 제공합니다. 사용 사례를 안내하여 자신 있게 Cody 여정을 시작할 수 있도록 도와드립니다.

사용 사례

투어 가이드 역할을 할 코디를 활용한 AI 챗봇을 구축할 예정입니다. 이것은 고객 경험을 크게 향상시킬 수 있기 때문에 관광 관련 비즈니스에 귀중한 추가 기능이 될 것입니다. 하지만 코디와 함께 챗봇을 구축하는 범위는 하나의 비즈니스 영역에만 국한되지 않습니다. 사용자는 다양한 프롬프트를 실험하여 자신의 비즈니스에 맞는 봇을 구축하고 이 블로그를 읽은 후 고객과 공유할 수도 있습니다.

요구 사항

1. 비즈니스 관련 콘텐츠(PDF, Word, 웹 사이트 또는 텍스트)
2. 코디의 계정 (권장 플랜 : 프리미엄)
3. 15분

1단계: 기술 자료에 데이터 추가

비즈니스 요구 사항에 맞게 Cody를 교육하기 위해 문서를 추가하려면 다음 단계를 수행합니다.

1. Cody의 인터페이스 중 콘텐츠 섹션으로 이동합니다.
2. 새 폴더를 만들어 문서를 정리합니다.
3. 기술 자료에 데이터를 추가하는 데 사용할 수 있는 세 가지 방법이 있습니다.
   • 쓰기: 내장된 텍스트 편집기를 사용하여 콘텐츠를 직접 입력합니다.
   • 업로드: 관련 정보가 포함된 PDF, Word 또는 PowerPoint 파일을 업로드합니다.
   • 웹사이트 가져오기: 이 기능을 사용하면 비즈니스 웹사이트를 크롤링하고 자동으로 데이터를 수집할 수 있습니다. (참고: 이 기능은 프리미엄 및 고급 플랜에서만 사용할 수 있습니다.)

이 특정 튜토리얼에서는 다양한 관광 명소, 설명, 운영 시간, 주소 및 자주 묻는 질문(FAQ)에 대한 정보가 포함된 보스턴 가이드북을 사용합니다.

필요한 문서를 업로드한 후 “학습” 또는 “학습“이 될 수 있는 상태를 추적할 수 있습니다. 이 상태는 Cody가 현재 문서에서 학습하는 중인지 또는 학습 프로세스를 성공적으로 완료했는지를 나타냅니다. Cody가 업로드된 문서를 학습하면 실제 챗봇 구축과 관련된 다음 단계로 진행할 수 있습니다.

메모: 제공하는 문서가 Cody가 생성한 응답의 품질을 향상시키는 특정 형식을 따르는지 확인하는 것이 중요합니다. 권장되는 문서 서식에 대해 자세히 알아보려면 서식 지침에 제공된 설명서를 읽어보는 것이 좋습니다.

2단계: 봇의 목적 만들기

목적은 3 부분으로 나뉩니다.

인격

성격은 봇의 두뇌 역할을 하며 효과적이고 유용한 응답을 생성하는 데 필수적인 역할을 합니다. Prompt, Relevance Score, Token Distribution, Prompt Persistence 및 Reverse Vector Search와 같은 여러 매개 변수로 구성됩니다. 이러한 용어에 대한 자세한 설명은 Cody를 처음 접하는 사람들을 위한 포괄적인 통찰력을 제공하는 이전 블로그를 참조하는 것이 좋습니다. Cody는 사용자에게 성격을 만들기 위한 두 가지 옵션인 템플릿 모드 와
고급 모드를 제공합니다.

템플릿 모드는 사용자에게 사전 정의된 프롬프트를 제공하여 편리한 플러그 앤 플레이 솔루션을 제공합니다. 이 튜토리얼과 사용 사례에서는 현재 템플릿 모드에서 사용 사례가 다루어지지 않기 때문에 고급 모드 사용으로 제한할 것입니다. 앞으로 특정 사용 사례가 포함된 프롬프트 라이브러리를 만들어 사용자에게 더 많은 옵션을 제공하고 템플릿 모드에 더 많은 사전 설정을 추가할 계획입니다.

AI 투어 가이드의 성격 :

프롬프트

당신은 보스턴에 대한 정확한 정보를 제공하는 데 전념하는 AI 비서인 Cody Travel Guide입니다. 귀하의 주요 임무는 지식 기반에서 사용할 수 있는 정보를 유일한 출처로 사용하여 내 질문에 대한 신뢰할 수 있고 명확한 답변을 제공하여 저를 돕는 것입니다. 대화 중에 ‘지식창고’ 또는 파일 이름을 언급하지 마십시오. 기술 자료에서 명시하거나 뒷받침하지 않는 한 주장을 하기를 꺼립니다. 확실한 대답을 할 수 없을 때, 대답 할 수 없다는 것을 인정하고 대답 할 수 없다는 것을 알려주십시오. ‘정보는 내 지식 기반을 기반으로 합니다’라고 말하는 대신 ‘놓친 것이 있으면 실례합니다’라고 말하십시오.

다음 형식을 사용하여 정보를 표시해 보십시오.

<h2> 장소 <이름 /h2>

<강한> 설명: </strong> <br>

<강한> 주소: </strong> <br>

<강한> 근무 시간: </strong> <br>

<strong 추가 정보: </strong>> <br>

<자세한 내용은 a href=’링크 삽입’>웹사이트</a>로 이동하십시오.

맞춤형 여행 계획이나 여정을 묻는 경우 다음 형식으로 제공된 시간과 설명을 사용하여 계획을 세우십시오.

장소 이름: <br>

방문 시간: 시작 시간-종료 시간 <br>

주소: <br>

관련성 점수:
균형 잡힌

토큰 분배:
70-10-20 (컨텍스트-히스토리-응답)

프롬프트 유지:
에

역방향 벡터 검색:
끄기

💡 특정 방식으로 봇 응답의 서식을 지정하려는 경우 Cody는 봇에 대한 서식 템플릿을 정의할 수 있는 Markdown 및 HTML 태그를 지원합니다.

모든 성격 프롬프트는 양질의 응답을 얻기 위해 특정 구조를 따라야 합니다. 예제와 함께 효과적인 프롬프트를 엔지니어링하기 위한 중요한 팁:

→ 대체를 정의합니다.

• “‘정보가 내 지식 기반을 기반으로 한다’고 말하는 대신 ‘내가 놓친 것이 있으면 실례합니다’라고 말하십시오.”
• “지식 기반에서 관련 정보를 찾을 수 없는 경우 자신의 무능력을 인정하고 “[Enter your website URL/contact no.]

→ 출처를 구분합니다.

• “지식 기반을 유일한 소스로 사용하십시오.”
• “귀하의 응답은 내 요청과 동일한 언어로 작성되어야 하며 대화 중에 지식 기반이라는 단어를 언급해서는 안 됩니다.”

→ 목표를 정의합니다.

• “당신의 목표는 저에게 도움을 제공하고 에 대한 [Enter your business domain]제 질문에 답하는 것입니다.”
• “관련 없는 활동이나 지식 기반과 관련이 없는 토론 또는 창의적인 글쓰기에 참여하지 마십시오.”

고객 지원을 위한 샘플 상용구 프롬프트:

📌 당신은 Villa Homes에서 일하는 웹사이트 지원 AI 어시스턴트 Cody입니다. 귀하의 목표는 지식 기반을 유일한 출처로 사용하여 Villa Homes에 대한 지원을 제공하고 질문에 답변하는 것입니다.

관련 없는 활동을 피하거나 지식 기반과 관련이 없는 토론 또는 창의적인 글쓰기에 참여합니다. 지식 기반에서 관련 정보를 찾을 수 없거나 사용자가 지식 기반에 포함되지 않은 관련 없는 질문을 하는 경우 귀하의 무능력을 인정하고 +40XXXXXXX로 Villa Homes 팀에 문의할 것을 제안합니다

귀하의 응답은 내 요청과 동일한 언어로 작성되어야 하며 대화 중에 지식 기반이라는 단어를 언급해서는 안 됩니다.

엔지니어링 더 나은 프롬프트에 대해 자세히 알아보려면 Cody의 모든 기본 사항을 자세히 설명하는 이
블로그
를 읽어보세요.

일반

이 섹션에서는 봇의 이름과 설명을 정의하고 Cody와 함께 사용할 모델을 선택해야 합니다. 선택할 수 있는 세 가지 OpenAI 모델이 있습니다.

1. GPT-3.5 시리즈
2. GPT-3.5 16케이
3. GPT-4 시리즈

프리미엄 플랜을 사용하면 세 가지 모델 모두에 액세스할 수 있으므로 특정 요구 사항에 가장 적합한 모델을 자유롭게 선택할 수 있습니다. 실용적인 선택을 제공하므로 Cody가 제공하는 모든 기능을 활용할 수 있습니다.

GPT-4는 현재 사용 가능한 가장 진보된 모델이며 향상된 창의성으로 인해 시연할 사용 사례에 완벽하게 적합하기 때문에 계속 진행할 것입니다.

지식

첫 번째 단계에서 만든 폴더는 이 섹션의 특정 봇에 연결되어야 합니다. 연결하려는 폴더를 여러 개 만든 경우 Cody를 교육하려는 모든 폴더를 선택하기만 하면 됩니다.

코디는 자신의 마음을 가진 블랙 박스가 아니라는 것을 이해하는 것이 중요합니다. 단순히 문장의 다음 단어를 예측하는 모델입니다. 데이터 과학의 유명한 속담처럼 “Garbage In, Garbage Out“입니다. 성격을 더 잘 설정하고, 봇의 규칙을 정의하고, 제공하는 데이터를 정리할수록 더 나은 응답을 생성합니다. 다양한 사전 설정이 있는 템플릿 모드 와 같은 새로운 추가 기능을 통해 사용자가 성격을 자극하는 프로세스를 훨씬 쉽게 만들 수 있도록 노력하고 있습니다.

3단계: 봇 테스트 및 공유

이제 가장 흥미로운 부분이 나옵니다! 직접 구축한 봇을 시험해보고 테스트하면 큰 성취감을 얻을 수 있습니다. 봇을 테스트하고 공유하는 방법에는 채팅을 만들거나 새로 출시된 사용자 지정 가능한 위젯을 사용하는 두 가지 방법이 있습니다.

간단한 세 단계로 채팅 위젯을 만들려면:

1. Cody의 인터페이스의 봇 섹션으로 이동합니다.
2. 생성한 봇을 선택하고 세 개의 점 ‘⋮’를 클릭하면 더 많은 옵션을 볼 수 있습니다.
3. ‘퍼가기’를 클릭합니다.

그리고 짜잔! 사용자 정의 가능한 Cody 위젯을 성공적으로 만들었습니다.

Cody 위젯을 사용할 때 다른 사람과 공유할 수 있는 두 가지 옵션이 있습니다: 링크 공유 또는 임베드. 비즈니스를 위한 웹사이트가 없거나 웹사이트 코드를 수정하는 것이 불편한 경우 제공된 링크를 사용하여 고객과 봇을 쉽게 공유할 수 있습니다.

사용할 수 있는 내장 가능한 위젯에는 두 가지 유형이 있습니다.

1. 인라인 임베드: 이 유형의 위젯은 웹사이트의 지정된 공간에 임베드됩니다. 정의된 기본 요소 내에서 위젯에 필요한 공간을 차지합니다.
2. 팝업 삽입: 이 유형의 위젯은 웹사이트에 떠 있는 아이콘으로 나타납니다. 방문자가 아이콘을 클릭하면 위젯이 확장되고 열리며 챗봇과 상호 작용할 수 있습니다.

두 가지 유형의 내장 가능한 위젯은 Cody 봇을 웹 사이트에 통합하는 다양한 방법을 제공하여 공간 활용 및 사용자 경험 측면에서 유연성을 제공합니다. 웹사이트 디자인과 사용자 상호 작용 기본 설정에 가장 적합한 것을 선택할 수 있습니다.

위젯 사용자 지정

최신 기능 릴리스는 사용자에게 위젯에 대한 완전한 자유와 사용자 정의 옵션을 제공합니다. 즉, 위젯의 모양, 동작 및 전반적인 사용자 경험을 특정 요구 사항 및 브랜딩에 맞게 조정할 수 있습니다.

사용자 지정 옵션은 다음과 같습니다.

1. 머리글
   • 머리글의 레이아웃(왼쪽 또는 가운데)을 변경합니다.
   • 비즈니스 로고 추가
   • 색
   • 타이틀
   • 자막
2. 잡담
   • 메시지 크기(채팅 풍선 크기)
   • 채팅의 배경색
3. 봇
   • 초기 메시지
   • 메시지 배경색
   • 봇 아바타
   • 봇 색상
4. 사람의
   • 추천 질문
   • 메시지 배경색
5. 작곡가
   • 자리 표시자 메시지
   • 보내기 단추 아이콘
   • 코디 브랜딩( 프리미엄 및 고급 플랜에서만 제거할 수 있음)
6. 발사대
   • 크기
   • 화면 위치
   • 배경색(Floating button color)
   • 아이콘
   • 닫기 아이콘

이러한 모든 사용자 정의 옵션은 Cody를 보다 개인화하고 비즈니스 미학에 맞게 만들어 고객에게 훨씬 향상된 사용자 경험을 제공해야 합니다.

그게 다야!

이제 Cody를 사용하여 봇을 빌드하고 공유하는 것이 그 어느 때보다 쉬워졌으며 간단한 세 단계만 거치면 됩니다. 최근 위젯 사용자 지정 옵션이 도입되면서 Cody를 사용하여 자신만의 봇을 만들기에 이보다 더 좋은 시기는 없었습니다. 위젯을 사용자 지정할 때 추가된 유연성을 통해 특정 비즈니스 요구 사항 및 브랜딩에 맞게 봇의 모양과 동작을 조정할 수 있습니다.

우리는 코디 경험을 향상시키기 위해 더 흥미로운 기능을 개발하고 도입하기 위해 끊임없이 노력하고 있습니다. 우리 팀은 봇을 구축하고 배포하는 전체 프로세스를 더욱 원활하고 사용자 친화적으로 만들기 위해 최선을 다하고 있습니다. Cody 플랫폼을 지속적으로 개선하고 개선하는 동안 예정된 업데이트를 계속 지켜봐 주십시오. 더 많은 리소스를 보려면 도움말 센터를 확인하고 Discord 커뮤니티에 가입할 수도 있습니다.

Cody의 유료 버전으로 업그레이드해야 합니까? 원하는 이유는 다음과 같습니다.

며칠 전 OpenAI 출시 직후 모든 유료 사용자를 위한 최신 모델인 GPT-3.5 16k를 출시했습니다. 위협적으로 들릴지 모르지만 비즈니스의 게임 체인저가 될 수 있습니다. 이 블로그에서는 GPT-3.5 16k의 사용 사례를 살펴보고 장점을 살펴보고 기존 GPT-3.5 모델 및 최신 고급 GPT-4와 어떻게 다른지 강조합니다.

GPT-3.5 16K는 무엇입니까?

이전에 Cody의 무료 버전을 사용해 본 적이 있다면 OpenAI gpt-3.5-turbo 의 모델을 활용하는 바닐라 GPT-3.5 모델에 이미 익숙할 것입니다. 이 모델은 대부분의 경우 경제성, 속도 및 신뢰성을 제공하므로 많은 사용자에게 인기 있는 선택입니다. 반면 GPT-3.5-16k는 OpenAI의 gpt-3.5-turbo-16k 모델을 활용합니다 gpt-3.5-turbo. 중요한 차이점은 ’16k’측면에 있습니다.

16K는 무엇입니까?

’16K’ 접미사는 모델에 16,000개의 토큰이 있는 컨텍스트 창이 있음을 나타내며, 이는 기존 4,096개 토큰에서 크게 증가한 것입니다. 이전 블로그에서 토큰이 무엇인지 자세히 설명했습니다. 모델의 컨텍스트 창이 작을수록 다음과 같은 몇 가지 제한 사항이 발생할 수 있습니다.

1. 관련성 부족: 컨텍스트 창이 제한되어 있으면 모델이 대화 또는 작업의 더 넓은 컨텍스트와의 관련성을 포착하고 유지하는 데 어려움을 겪을 수 있습니다.
2. 컨텍스트를 유지할 수 없음: 컨텍스트 창이 작을수록 모델이 대화의 초기 부분에서 정보를 기억하고 참조하기 어려워 일관성 없는 대화를 유지하는 데 어려움이 있을 수 있습니다.
3. 입력 쿼리 길이에 대한 제약 조건:Constraints on input-query lengths: 컨텍스트 기간이 짧을수록 입력 쿼리의 길이에 제약이 가해져 포괄적인 정보를 제공하거나 복잡한 질문을 하기 어렵습니다.
4. 기술 자료 컨텍스트 제한 사항:Knowledge-base context limitations: 컨텍스트 창이 작을수록 데이터 수집 제한으로 인해 관련 문서의 지식을 지식에서 통합하는 데 제한이 있을 수 있습니다.

더 큰 컨텍스트 창의 장점

GPT-3.5는 4096개의 토큰에 불과함에도 불구하고 어떻게 Cody에서 1000개 이상의 웹 페이지와 문서를 처리할 수 있습니까? 생성형 AI 분야의 발전으로 컨텍스트를 제공한다는 것은 단순히 GPT-3.5 Turbo와 같은 언어 모델에 전체 문서를 제공하는 것을 의미하지 않습니다. 청크, 임베딩 및 벡터 데이터베이스와 같은 백엔드 프로세스는 데이터를 전처리하는 데 사용되며, 청크 내에서 관련성을 유지하고 모델이 사전 정의된 컨텍스트 창을 탐색할 수 있도록 합니다.

현재 시나리오에서 컨텍스트 창이 클수록 더 크고 복잡한 입력을 수용하여 AI의 전반적인 성능을 향상시키는 동시에 응답을 생성하는 데 필요한 벡터 스토리지 트랜잭션 수를 줄일 수 있습니다. 컨텍스트 창은 입력과 출력을 모두 포함하므로 창이 클수록 모델이 대화 컨텍스트를 유지하면서 정교하고 일관된 응답을 제공할 수도 있습니다.

컨텍스트 창이 클수록 대화의 토큰 제한을 초과할 때 발생할 수 있는 환각을 완화하는 데도 도움이 됩니다.

GPT-3.5 터보 16K v/s GPT-4

gpt-3.5-turbo-16k OpenAI gpt-4 의 최신 릴리스이지만 시각적 컨텍스트 이해, 창의성 향상, 일관성 및 다국어 성능과 같은 다양한 측면에서 여전히 이를 능가합니다. GPT-3.5-16k가 뛰어난 유일한 영역은 GPT-4가 현재 8k 변형에서 사용할 수 있고 32k 변형이 여전히 점진적으로 출시되고 있기 때문에 컨텍스트 창입니다.

그 동안 32k 버전의 gpt-4 에 널리 액세스할 수 있게 될 때까지 GPT-3.5-16k는 더 큰 컨텍스트 창으로 눈에 띕니다. 보다 광범위한 컨텍스트 창을 제공하는 모델을 특별히 찾고 있다면 GPT-3.5-16k가 이상적인 선택입니다.

더 큰 컨텍스트 창의 사용 사례

1. 고객 지원: 컨텍스트 창이 클수록 모델의 단기 기억력이 향상되어 고객 지원, 양식 작성 및 사용자 데이터 수집과 관련된 애플리케이션에 적합합니다. 이를 통해 모델은 더 오랜 기간 동안 컨텍스트를 유지하여 이름, 고객 ID, 불만 사항 및 피드백과 같은 사용자 입력에 대해 보다 관련성 높은 응답을 제공할 수 있습니다.
2. 직원 교육: 직원 교육 목적으로 Cody를 활용하는 것은 매우 효과적인 것으로 입증되었습니다. 직원 교육에는 종종 비즈니스 활동, 단계 및 프로세스와 관련된 광범위한 데이터가 포함됩니다. 교육 프로그램 전반에 걸쳐 상황적 관련성을 유지하려면 교육생의 전체 대화 기록을 통합해야 합니다. 컨텍스트 창이 클수록 더 많은 기록 정보를 포함할 수 있으므로 보다 포괄적이고 효과적인 교육 환경을 용이하게 할 수 있습니다.
3. 데이터 분석: 재무 분석 및 통계적 추론과 관련된 작업에서는 의미 있는 인사이트를 도출하기 위해 대량의 데이터를 처리해야 하는 경우가 많습니다. 컨텍스트 창이 클수록 모델은 계산 중에 더 많은 관련 정보를 보유할 수 있으므로 보다 일관되고 정확한 분석이 가능합니다. 예를 들어, 대차대조표와 회사의 연간 전체 성과를 비교하는 것은 더 큰 컨텍스트 창에서 보다 효과적으로 실행될 수 있습니다.

GPT-3.5 4K v/s 16K 비교

16K 모델의 개선 사항을 보여주기 위해 118개의 원소와 그 특징이 포함된 주기율표 파일을 쿼리했습니다.csv.

비교를 통해 GPT-3.5 4K는 반응에서 모든 방사성 원소를 생성할 수 없었고 일부 원소를 건너뛰었음을 알 수 있습니다. 대조적으로, GPT-3.5 16K는 제공된 표에 존재하는 거의 모든 방사성 원소를 생성했습니다. 이는 더 큰 컨텍스트 창으로 인해 응답의 정교함이 향상되었음을 보여줍니다. 이것은 16k 컨텍스트 창이 무한한 응용 프로그램과 구현이 있는 잠재력을 살짝 엿볼 수 있는 것입니다. 파이프라인에 GPT-4 32K가 있는 16K 모델은 더 큰 컨텍스트 창으로 보다 원활하게 전환할 수 있습니다.

업그레이드해야 합니까?

더 큰 컨텍스트 창은 의심할 여지 없이 단순한 특수 효과가 아니라 중요한 업데이트입니다. 향상된 컨텍스트 이해는 응답의 품질을 향상시키는 데 중요한 역할을 하며, 더 큰 컨텍스트 창은 이러한 LLM(언어 모델 모델)에 대한 상당한 잠재력을 열어줍니다. LLM은 대화 기록과 문맥 단서를 보다 광범위하게 파악할 수 있으므로 보다 정확하고 상황에 맞는 출력을 제공할 수 있습니다.

앞서 언급했듯이 GPT-3.5의 16K 변형은 기본 계획부터 모든 사용자가 사용할 수 있습니다. 한동안 개인(무료) 요금제를 사용해 왔다면 이미 Cody가 제공하는 기능을 경험했을 것입니다. 기본 계획은 특히 GPT-4의 추가 기능이 필요하지 않은 경우 비용 대비 뛰어난 가치를 제공합니다. GPT-3.5 16K의 추가 모델 선택으로 비즈니스를 위한 프로젝트 또는 프로토타입으로 봇을 구축하는 개인에게 적합합니다. 앞으로 GPT-4 32K 변형을 출시할 때 더 많은 토큰이 필요할 때 언제든지 프리미엄 플랜으로 업그레이드할 수 있습니다.

대기업의 경우 Advanced Plan은 리소스 집약적이고 대량 사용 요구 사항을 충족하는 가장 강력한 옵션입니다. 대규모 작업의 요구 사항을 충족할 수 있는 포괄적인 기능을 제공합니다.

추가 자료

도움말 센터

갈등