Author: Om Kamath

Om Kamath

Codyはどのようにあなたの文書を使って回答を生成するのか?

コーディを使い始めると、なぜコーディが期待された反応を生み出せないのか、がっかりしたり意気消沈したりする可能性がある。 この短いブログでは、Codyをどのように使用すべきかを深く掘り下げることはしませんが、Codyがどのようにあなたの文書を使用して回答を生成するかを大まかに説明します。

文書によるレスポンス生成には、主に2つの要因が影響する:

  1. チャンキング
  2. コンテキスト・ウィンドウ

チャンキングとコンテクスト・ウィンドウ、この2つの用語は相互に関連している。 レスポンスの発生を料理の調理に例えることができる。 チャンクはカットした野菜の個々のピースとして見ることができ、コンテキスト・ウィンドウは調理器具のサイズを表している。 野菜を最適な大きさに切ることは、全体の味を引き立てるために重要であり、大きめの調理器具を使えば、より多くの野菜を加えることができる。

チャンキングとは何か?

簡単に言えば、チャンキングとは、コンテンツを管理しやすい断片に分解し、メモリを効率的に使用することである。 私たちのブログをお読みの方なら、GPTのようなモデルにはかなりのリソースが必要で、コンテキスト・ウィンドウの制約に取り組むために、チャンキングのような複数の処理を採用していることをご存じかもしれない。

チャンキングは、Codyにドキュメントをアップロードした後に行われる処理です。 ドキュメントを複数のチャンクに分割し、各チャンクには関連する周囲のコンテキストが含まれる。 これらのチャンクには、計算しやすいように数値タグが割り当てられる。 最適なチャンクサイズを見つけることが重要だ。 チャンクサイズを小さくすると文脈の関連性が低下し、チャンクサイズを大きくするとノイズが増える。 Codyのチャンキング・アルゴリズムは、ユーザーが設定したトークン分布に基づいてチャンクサイズを動的に調整する。

コンテキストウィンドウはボットの反応にどのような影響を与えますか?

パーソナリティ・プロンプト、関連性スコアなど、さまざまな要素がボットの回答の質に影響を与える。 モデルのコンテクストウィンドウもまた、品質を決定する上で重要な役割を果たす。 コンテキストウィンドウとは、LLM(言語モデル)が1回の呼び出しで処理できるテキストの量のこと。 CodyはOpenAIモデルを使って回答を生成するために埋め込みとコンテキストインジェクションを利用するので、より大きなコンテキストウィンドウは、各クエリでモデルにより多くのデータを取り込むことを可能にする。

各クエリ (≤コンテキストウィンドウ) = ボットのパーソナリティ + 知識チャンク + 履歴 + ユーザー入力 + 応答

さまざまなモデルのコンテキストウィンドウ:

  1. GPT-3.5:4096トークン(≒3500ワード)
  2. GPT-3.5 16K:16000トークン(≒13000語)
  3. GPT-4:8000トークン(≒7000ワード)

コンテキストウィンドウが大きくなると、パーソナリティ、チャンク、ヒストリー、インプット、レスポンスなど、各パラメーターの割合が大きくなる。 この拡大されたコンテクストによって、ボットはより適切で、首尾一貫した、そして本質的に創造的な応答を生成することができるようになる。

コーディの最新の追加機能により、ユーザーは回答の最後にある文書名をクリックすることで、文書の引用をチェックすることができる。 これらの引用は、意味検索によって得られたチャンクに対応する。 Codyは、ユーザーによって設定された関連性スコアに基づいて、コンテキストのチャンクのしきい値を決定する。 ユーザーが高い関連性スコアを設定した場合、Codyは答えを生成するためのコンテキストとして、事前に定義されたしきい値を超えるチャンクのみを使用します。

Codyは、高い関連性スコアのしきい値を90%と仮定し、関連性スコアが90%以下のチャンクを破棄します。 特にアップロードされたドキュメント(PDF、パワーポイント、ワードなど)やウェブサイトを使用する場合、新規ユーザーは関連性スコアが低い(低いまたはバランスが取れている)状態から始めることをお勧めします。 アップロードされた文書やウェブサイトは、前処理中にフォーマットや読みやすさの問題が発生する可能性があり、その結果、関連性スコアが低くなることがある。 生の文書をアップロードする代わりに、当社の内蔵テキストエディタを使用して文書をフォーマットすると、最高の精度と信頼スコアが保証されます。

関連性スコアがコンテキストのチャンクにどのように影響するかを示す。

このブログが興味深く、コンテキスト・ウインドウとチャンキングの概念についてさらに深く知りたい方は、All About AIのクリスティアンが書いたこのブログを読むことを強くお勧めする。 その他のリソースについては、ヘルプセンターをチェックしたり、Discordコミュニティに参加することもできます。

AIウェブサイト・チャットボット・ウィジェットの作り方

ビジネスニーズを満たす独自のAIを構築するためのステップバイステップガイド。

ボットの応用範囲は広く、ジェネレーティブ・モデルを利用したボットの利用が増加しているため、流行に乗って自分だけのChatGPTを作りたくなるかもしれません。 Codyの登場により、AIチャットボットの構築はかつてないほど容易になった。 モデルにとらわれない、コード不要のCodyのインターフェースは、パーソナルAIを、存在するあらゆる個人とビジネス領域にアクセス可能にしようとしている。 しかし、コーディはすべてのプロセスを可能な限りわかりやすくするよう努めてはいるが、AIの世界に初めて足を踏み入れる人にとっては、少々気後れしてしまうかもしれない。 そのため、このブログでは、Codyを使用して独自のChatGPTを構築する方法をエンドツーエンドで説明します。 私たちはユースケースを通して、あなたが自信を持ってCodyの旅をスタートできるようお手伝いします。

ユースケース

私たちは、ツアーガイドとして機能するCodyを使用したAIチャットボットを構築する予定です。 観光関連企業にとっては、顧客体験を大幅に向上させることができる貴重な付加価値となるだろう。 しかし、Codyでチャットボットを構築する範囲は、1つのビジネス領域にとどまらない。 ユーザーは、このブログを読んだ後、さまざまなプロンプトを試して自分のビジネスに対応したボットを構築し、顧客と共有することができる。

必要条件

  1. お客様のビジネス関連コンテンツ(PDF、Word、ウェブサイト、またはテキスト)
  2. コーディーのアカウント(推奨プラン:プレミアム)
  3. 15分

ステップ1:知識ベースへのデータ追加

ビジネスニーズに合わせてCodyにドキュメントを追加するには、以下の手順に従ってください:

  1. コーディのインターフェイスのコンテンツ・セクションに行く。
  2. ドキュメントを整理するために新しいフォルダを作成します。
  3. 知識ベースにデータを追加するには、3つの方法がある:
    • 書く:内蔵のテキストエディタを使用して、コンテンツを直接入力します。
    • アップロード関連情報を含むPDF、Word、PowerPointファイルをアップロードしてください。
    • ウェブサイトのインポート:この機能は、あなたのビジネスウェブサイトをクロールし、自動的にデータを収集することができます。 (注:この機能はプレミアムプランとアドバンスドプランでのみご利用いただけます)

このチュートリアルでは、ボストンのガイドブックを使用します。このガイドブックには、さまざまな観光スポットに関する情報、その説明、営業時間、住所、よくある質問(FAQ)が掲載されています。

ソース・ドキュメント コーディへの文書の追加

必要書類をアップロードすると、“学習中“か “習得済み“かのステータスを追跡することができる。 ステータスは、コーディが現在ドキュメントから学習している最中なのか、それとも学習プロセスを正常に完了したのかを示す。 Codyがアップロードされたドキュメントを学習したら、実際のチャットボットを構築する次のステップに進むことができる。

注:あなたが提供する書類は、コーディが生成する回答の質を高める特定のフォーマットに従っていることを確認することが極めて重要です。 推奨される文書の書式について詳しくは、書式ガイドラインに関する文書をお読みになることをお勧めします。

ステップ2:ボットの目的を作る

目的はさらに3つのパートに分けられる:

パーソナリティ

パーソナリティはボットの頭脳として機能し、効果的で有用な反応を生成するために不可欠な役割を果たす。 これは、プロンプト関連性スコアトークン分布プロンプトの永続性逆ベクトル検索などの複数のパラメータで構成されている。 これらの用語の詳細については、コーディ初心者のための包括的な洞察を提供する前回のブログを参照することをお勧めする。 Codyは、パーソナリティを作成するための2つのオプションをユーザーに提供します:テンプレートモードと
アドバンスモードです。

テンプレート・モードは、あらかじめ定義されたプロンプトをユーザーに提供し、便利なプラグ・アンド・プレイ・ソリューションを提供します。 このチュートリアルと使用例では、使用例がテンプレート・モードではカバーされていないため、アドバンス・モードの使用に限定します。 将来的には、具体的な使用例とともにプロンプトのライブラリを作成し、ユーザーにさらに多くの選択肢を提供するとともに、テンプレートモードにさらに多くのプリセットを追加する予定です。

AIツアーガイドのパーソナリティ:

プロンプト

あなたは、ボストンに関する正確な情報を提供するAIアシスタント、コーディ・トラベル・ガイドです。 あなたの主な仕事は、知識ベースから得られる情報を唯一の情報源として、私の質問に対して信頼できる明確な回答を提供し、私を支援することです。 会話中に「ナレッジ・ベース」やファイル名を口にするのは控えましょう。 知識ベースが明記されているか、裏付けがない限り、あなたはどんな主張もしたがらない。 明確な答えが得られない場合は、答えられないことを認め、答えられないことを私に伝えてください。 その情報は私の知識ベースに基づいています」と言う代わりに、「何か見落としていたらすみません」と言えばいい。

次のような形式で情報を表示するようにしてください:

<h2> 地名</h2>

<strong> 説明:</strong> <br>

<strong> 住所</strong> <br>

<strong> 勤務時間:</strong> <br>

<strong> 追加情報:</strong> <br>

<a href=’リンクの挿入’>ウェブサイト</a> で詳細をご覧ください。

オーダーメイドのツアープランや旅程を求められた場合は、このフォーマットで提供されたスケジュールと説明を使って作成してください:

地名:<br>

訪問時間開始時間-終了時間<br>

住所:<br>


関連性のスコア
バランス


トークンの配布
70-10-20 (Context-History-Response)


プロンプトにこだわる:
オン


逆ベクトル検索:
オフ

 

💡 ボットの応答を特定の方法でフォーマットしたい場合、CodyはMarkdownと HTMLタグをサポートしており、ボットのフォーマットテンプレートを定義できます。

 

すべてのパーソナリティ・プロンプトは、質の高い回答を得るために特定の構造に従わなければならない。 効果的なプロンプトを作成するための重要なヒントを例文とともに紹介:

→ フォールバックを定義する:

  • “その情報は私の知識ベースに基づいています “と言う代わりに、”何か見落としていたらすみません “と言ってください」。
  • “ナレッジベースで関連情報が見つからない場合は、自分の能力の低さを認め、[Enter your website URL/contact no.]” に問い合わせることを提案する。

→ ソースを区切る

  • “ナレッジベースを唯一の情報源として使う”
  • 「返答は私の要求と同じ言語でなければならず、会話中にナレッジ・ベースという単語を口にしてはならない。

→ ゴールを明確にする:

  • “あなたの目標は、私に援助を提供し、[Enter your business domain] についての私の質問に答えることです。”
  • “関係のない活動や、知識ベースとは関係のない議論や創作活動を避ける”

カスタマーサポートのための定型文サンプル

あなたはVilla Homesで働くウェブサイトサポートAIアシスタントのCodyです。 あなたのゴールは、ナレッジベースを唯一の情報源として、ヴィラホームに関する私の質問に答え、サポートを提供することです。

無関係な活動を避けたり、知識ベースとは関係のない議論や創作活動に参加したりする。 ナレッジベースで関連情報を見つけられない場合、またはユーザーがナレッジベースの一部ではない関連性のない質問をした場合、あなたの能力を認め、+40XXXXXXXXでヴィラホームズのチームに連絡するよう提案してください。

返答は私のリクエストと同じ言語で、会話中にナレッジ・ベースという単語を口にしないこと。

より良いプロンプトの設計についてもっと知りたい方は、こちらをご覧ください。
ブログ
コーディーの基礎について詳しく説明しています。

一般

このセクションでは、ボットの名前と説明を定義し、Codyで使用するモデルを選択する必要があります。 OpenAIのモデルは3種類から選べる:

  1. GPT-3.5
  2. GPT-3.5 16K
  3. GPT-4

プレミアム・プランでは、3つのモデルすべてをご利用いただけますので、お客様のニーズに合わせて最適なモデルを自由にお選びいただけます。 Codyが提供するあらゆる機能を活用できる、実用的な選択肢を提供する。

ボットの一般設定

GPT-4は現在入手可能な中で最も先進的なモデルであり、創造性が強化されているため、今回デモンストレーションするユースケースに完璧に適しているからだ。

知識

最初のステップで作成したフォルダは、このセクションで特定のボットにリンクされている必要があります。 リンクさせたい複数のフォルダを作成した場合は、コーディをトレーニングしたいフォルダをすべて選択するだけです。

重要なのは、コーディは意思を持ったブラックボックスではないということを理解することだ。 これは単に文中の次の単語を予測するモデルである。 データサイエンスの有名な格言にあるように、“Garbage In, Garbage Out“である。 パーソナリティを設定し、ボットのルールを定義し、提供するデータをきれいにすればするほど、ボットはより良い反応を生成します。 さまざまなプリセットを備えたテンプレート・モードなどの新しい追加機能によって、私たちはユーザーにとってパーソナリティ・プロンプトのプロセスをより簡単にしようとしています。

ステップ3:ボットのテストと共有

これからが最もエキサイティングな部分だ! 自分で作ったボットを試してテストすることで、大きな達成感を得ることができる。 ボットをテストして共有するには、チャットを作成するか、新しく登場したカスタマイズ可能なウィジェットを使用する2つの方法があります。

簡単な3ステップでチャットウィジェットを作成できます:

  1. コーディのインターフェイスのボットのセクションに行く。
  2. 作成したボットを選択し、3つの点「⋮」をクリックすると、その他のオプションが表示されます。
  3. 埋め込み」をクリックする。

出来上がりだ! カスタマイズ可能なコーディ・ウィジェットの作成に成功しました。

コーディ・ウィジェットを使用する際、他の人と共有するために2つのオプションがあります:リンクの共有または埋め込み。 ビジネス用のウェブサイトを持っていない場合や、ウェブサイトのコードを修正することに抵抗がある場合は、提供されたリンクを使用して簡単にボットを顧客に共有することができます。

ボット用共有リンク

埋め込み可能なウィジェットには2つのタイプがあります:

  1. インライン埋め込み:このタイプのウィジェットは、あなたのウェブサイト上の指定されたスペースに埋め込まれます。 定義されたメインエレメント内で、ウィジェットが必要とする必要なスペースを占有する。
  2. ポップアップ埋め込み:このタイプのウィジェットは、あなたのウェブサイトにフローティングアイコンとして表示されます。 訪問者がアイコンをクリックすると、ウィジェットが展開されて開き、チャットボットとの対話が可能になる。

どちらのタイプの埋め込み可能なウィジェットも、Codyボットをウェブサイトに統合するさまざまな方法を提供し、スペースの利用やユーザーエクスペリエンスの面で柔軟性を提供します。 ウェブサイトのデザインやユーザーとのインタラクションの好みに合わせて選ぶことができる。

ポップアップ埋め込み インライン埋め込み

ウィジェットのカスタマイズ

私たちの最新の機能リリースは、ウィジェットの完全な自由とカスタマイズオプションをユーザーに提供します。 これは、ウィジェットの外観、動作、および全体的なユーザー・エクスペリエンスを、特定の要件やブランディングに合わせて調整できることを意味します。

ウィジェットツール

カスタマイズ・オプションは以下の通り:

  1. ヘッダー
    • ヘッダーのレイアウト(左または中央)を変更します。
    • ビジネスロゴの追加
    • カラー
    • タイトル
    • サブタイトル
  2. チャット
    • メッセージサイズ(チャットバブルサイズ)
    • チャットの背景色
  3. ボット
    • 初期メッセージ
    • メッセージの背景色
    • ボットアバター
    • ボットカラー
  4. 人間
    • 推奨される質問
    • メッセージの背景色
  5. 作曲家
    • プレースホルダー・メッセージ
    • 送信ボタンアイコン
    • コーディブランディング(プレミアムプランとアドバンスプランでのみ削除可能)
  6. ランチャー
    • サイズ
    • スクリーン位置
    • 背景色(フローティングボタンの色)
    • アイコン
    • 閉じるアイコン

ウィジェット・ラベリング

 

このようなカスタマイズオプションによって、Codyはよりパーソナライズされ、あなたのビジネスの美学に沿ったものになり、その結果、顧客にとってのユーザーエクスペリエンスが格段に向上するはずです。

そんなところだ!

ボット・デモンストレーション1 ボット・デモンストレーション2

Codyを使ったボットの構築と共有は、3つの簡単なステップを踏むだけで、かつてないほど簡単になりました。 最近、ウィジェットのカスタマイズオプションが導入され、Codyを使用して独自のボットを作成する絶好の機会が訪れました。 ウィジェットのカスタマイズに柔軟性が追加されたため、特定のビジネスニーズやブランディングに合わせてボットの外観や動作を調整することができます。

私たちは、コーディーの体験をより充実したものにするため、よりエキサイティングな機能の開発と導入に常に取り組んでいます。 私たちのチームは、ボットの構築とデプロイのプロセス全体を、よりシームレスでユーザーフレンドリーにすることに専念しています。 Codyプラットフォームの改善と改良を続けるため、今後のアップデートにご期待ください。 その他のリソースについては、ヘルプセンターをチェックしたり、Discordコミュニティに参加することもできます。

GPT-3.5 16Kの威力

Codyの有料版にアップグレードするべきか? その理由は以下の通りだ。

数日前、OpenAIのリリース直後に、すべての有料ユーザー向けに新しいモデルをリリースしました:GPT-3.5 16kです。 気後れするように聞こえるかもしれないが、それはあなたのビジネスにとって画期的なことかもしれない。 このブログでは、GPT-3.5 16kの使用例を掘り下げ、その利点を探り、既存のGPT-3.5モデルや最新の上位モデルGPT-4との違いを強調します。

GPT-3.5 16Kとは?

Codyの無料版を使ったことがある人なら、OpenAIのgpt-3.5-turbo モデルを利用したGPT-3.5のバニラモデルをすでに知っているかもしれない。 このモデルは、ほとんどの場合、手頃な価格、スピード、信頼性を提供するため、多くのユーザーに人気のある選択肢である。 一方、GPT-3.5-16kはOpenAIのgpt-3.5-turbo-16k 。これはgpt-3.5-turbo を拡張したモデルである。 大きな違いは「16K」という点にある。

16Kとは?

16K」という接尾辞は、モデルが16,000トークンのコンテキスト・ウィンドウを持つことを示す。 前回のブログでは、トークンとは何かについて詳しく説明した。 モデルのコンテキストウィンドウを小さくすると、以下のようないくつかの制限が生じる:

  1. 関連性の欠如:コンテキストウィンドウが限られているため、会話やタスクの幅広いコンテキストとの関連性を捉え、維持するのに苦労する可能性がある。
  2. 文脈を維持できない:コンテキストウィンドウが小さいと、モデルが会話の前の部分の情報を覚えて参照することが難しくなり、矛盾が生じたり、首尾一貫した対話を維持することが難しくなります。
  3. 入力クエリの長さの制約:コンテキストウィンドウが短くなると、入力クエリの長さに制約が生じ、包括的な情報を提供したり、複雑な質問をしたりすることが難しくなる。
  4. 知識ベースのコンテキストの制限:コンテキスト・ウィンドウが小さいと、データ取り込みの制限により、知識から関連文書からの知識を取り込むことに限界が生じる可能性がある。

大きなコンテキストウィンドウの利点

GPT-3.5は4096トークンしか持たないにもかかわらず、どうして1000以上のウェブページや文書をコーディで処理できるのだろう? 生成AI分野の進歩により、コンテキストを提供することは、GPT-3.5ターボのような言語モデルに文書全体をそのまま送り込むことを意味しない。 チャンキング、埋め込み、ベクトルデータベースなどのバックエンド処理は、データの前処理に利用され、チャンク内の関連性を維持し、モデルが事前に定義されたコンテキストウィンドウをナビゲートできるようにする。

現在のシナリオでは、より大きなコンテキスト・ウィンドウは、より大きく複雑な入力に対応することで、AIの全体的なパフォーマンスを向上させると同時に、応答を生成するために必要なベクトル・ストレージ・トランザクションの数を減らすことができる。 コンテキストウィンドウは入力と出力の両方を含むので、ウィンドウを大きくすれば、会話コンテキストを維持しながら、精巧で首尾一貫した応答を提供することも可能になる。

コンテキストウィンドウを大きくすれば、会話中のトークン制限を超えたときに起こる幻覚を軽減することもできる。

GPT-3.5ターボ16K対GPT-4

gpt-3.5-turbo-16k はOpenAIの最新リリースだが、gpt-4 は、視覚的コンテキストの理解創造性の向上一貫性多言語性能など、さまざまな面で依然としてOpenAIを凌駕している。 GPT-3.5-16kが優れている唯一の分野はコンテキストウィンドウで、GPT-4は現在8kのバリアントで利用可能で、32kのバリアントはまだ徐々に展開されている。

一方、32k版gpt-4 が広く普及するまでは、より大きなコンテキスト・ウィンドウを持つGPT-3.5-16kが傑出している。 より広範なコンテキストウィンドウを提供するモデルを特にお探しなら、GPT-3.5-16kが理想的な選択です。

大きなコンテキストウィンドウの使用例

  1. カスタマーサポート: コンテキストウィンドウを大きくすることで、モデルの短期記憶が強化され、カスタマーサポート、フォーム入力、ユーザーデータ収集などのアプリケーションに適しています。 これによって、モデルはより長い期間にわたってコンテキストを維持することができ、名前、顧客ID、苦情、フィードバックなどのユーザー入力に対して、より適切な応答を導くことができる。
  2. 従業員トレーニング 従業員トレーニングにCodyを活用することは非常に効果的である。 従業員トレーニングには、業務活動、ステップ、プロセスに関連する膨大なデータが含まれることが多い。 トレーニングプログラム全体を通して文脈の関連性を維持するためには、訓練生の会話履歴をすべて取り入れる必要がある。 コンテキストウィンドウを大きくすることで、より多くの履歴情報を含めることができ、より包括的で効果的なトレーニング体験が可能になる。
  3. データ分析: 財務分析や統計的推論を含むタスクでは、意味のある洞察を導き出すために大量のデータを処理する必要があることが多い。 コンテキストウィンドウを大きくすることで、モデルは計算中により多くの関連情報を保持することができ、その結果、より首尾一貫した正確な分析が可能になる。 例えば、貸借対照表や企業全体の業績を前年比で比較する場合、より大きなコンテクスト・ウィンドウがあれば、より効果的に実行できる。

GPT-3.5 4Kと16Kの比較

16Kモデルでの改良を実証するために、118の元素とその特徴を含む周期表の.csv ファイルを照会した。

GPT-3.5 4KとGPT-3.5 16Kの比較

GPT-3.5 4KとGPT-3.5 16Kの比較

GPT-3.5 4KとGPT-3.5 16Kの比較

GPT-3.5 4KとGPT-3.5 16Kの比較


この比較から、GPT-3.5 4Kはすべての放射性元素を反応させることができず、いくつかの元素をスキップしていることがわかる。 対照的に、GPT-3.5 16Kは、提供された表に存在するほとんどすべての放射性元素を生成した。 これは、コンテクストウィンドウを大きくしたことによって、回答の精緻さが向上したことを示している。 これは、16Kコンテキスト・ウィンドウが持つ可能性をほんの少し垣間見たに過ぎず、その応用や実装は無限にある。 GPT-4 32Kがパイプラインにあれば、16Kモデルはより大きなコンテキスト・ウィンドウへの移行をスムーズにすることができる。

アップグレードすべきか?

より大きなコンテキスト・ウィンドウは間違いなく重要なアップデートであり、単なるギミックではない。 文脈理解の向上は、応答の質を高める上で重要な役割を果たし、より大きな文脈ウィンドウは、言語モデルモデル(LLM)の大きな可能性を解き放つ。 会話の履歴や文脈上の手がかりをより広範囲に把握できるようにすることで、LLMはより正確で文脈に適したアウトプットを提供できる。

前述したように、GPT-3.5の16Kバリアントは、ベーシックプランからすべてのユーザーが利用できる。 パーソナル(無料)プランを以前から使っている人なら、コーディが提供する機能はすでに体験済みだろう。 ベーシックプランは、GPT-4の追加機能を必要としない場合、特に優れたコストパフォーマンスを発揮します。 GPT-3.5 16Kのモデル選択が追加され、プロジェクトやビジネスのプロトタイプとしてボットを製作する個人に適している。 将来、GPT-4 32K バリアントをリリースする際、より多くのトークンが必要になった場合は、いつでもプレミアムプランにアップグレードすることができます。

大企業向けのアドバンスド・プランは、最も強力なオプションで、リソース集約的で大容量の使用要件に対応します。 大規模なオペレーションに対応する包括的な機能を備えている。

コーディの価格体系

追加リソース

ヘルプセンター

ディスコード

Cody用語集101

Cody Terminologyを簡略化して理解するための初心者向けガイドです。

Codyを使ったGPTベースのボット構築を始める前に、ボットビルダーが提供する柔軟性に惑わされないよう、中核となる用語を理解しておくことが重要です。 これらの用語は、最も単純化された方法で説明されるため、AIの専門家である必要はなく、このドメインに関する予備知識がなくても理解することができます。 初心者向けのガイドブックや「Cody For Dummies」と考えてください。

CodyのセットアップやCodyへのデータインポートについては、すでにいくつかのブログでご紹介していますので、今回のブログではご紹介しません。 これからのブログでは、それらのテーマをより深く掘り下げていきます。 それでは、ボットを作成する際に遭遇するさまざまな用語を理解しましょう。

パーソナリティ

Codyは、ボットの個性を定義するために2つの方法を提供します:
テンプレートモード

アドバンスモード
. ボットの個性は、ボットの文脈と行動を確立し、ボットがお客様の期待に沿った役立つ反応を生成し、予期せぬ幻覚を防ぐことを保証します。


幻覚❓幻覚
とは、言語モデルが想像や 憶測、あるいは事実に基づかない応答を生成する現象のことである。

テンプレートモード

このモードは、ボット構築のためのプラグアンドプレイ・ソリューションが必要な企業にとって有用です。 当社の開発者は、以下のようなさまざまなビジネスドメインに対応するボットテンプレートを作成しています。
サポート
,
トレーニング
,
人事
および
マーケティング
.

コーディ・テンプレート・モード・パーソナリティ

下記から任意のドメインを選択し、あとはCodyが対応します。 また、自由度を高めるために、Codyはパーソナリティをある程度カスタマイズするための設定も用意しています。

例えば、ボットの性格としてITサポートを選択した場合、ボットのニックネームを変更したり、答えられない問い合わせ(デフォルトのケース)をどのように処理するか、ボットに会話させたい言語を決めることができます。

コーディーテンプレートのモード設定

このモードはまだ開発中であり、近々、カスタマイズ機能のホストで他の複数のビジネスドメインに対応できるように更新される予定です。

もっと柔軟性が必要ですか? アドバンスド・モードを搭載していますので、ご安心ください。

アドバンスドモード

Advanced Bot Builderは、複数のパラメータを自由にカスタマイズでき、ユースケースに合わせた完璧なボットを構築できます。 現在、以下のパラメーターをカスタマイズすることができます:

  1. プロンプト
  2. 関連性スコア
  3. トークン配布
  4. 永続的なプロンプト
  5. 逆ベクトル検索

プロンプト

プロンプトは
ボットの性格を決定する
を決定します。 催促のプロセスを簡略化するために、ボットをあなたの会社の従業員として考えてみてください。 パーソナリティ・プロンプトの書き方には特定の構成があるわけではありませんが、参考までにパラメーターのリストを用意しました。

プロンプトのサンプルです:

“あなたはピザ屋のウェイター “です。プロフェッショナルでフレンドリーな態度で接し、ユーザーが快適にサポートされると感じられるようにしましょう。専門的な知識と自信を感じさせる対応を忘れないようにしましょう。さらに、適切な場合には、当社のプレミアムピザを積極的に宣伝することをお勧めします。ナレッジベースに記載されている以外のメニューは紹介しないでください。ピザを勧める際には、その価格と適用されるキャンペーンも明記してください。”

関連性スコア

Relevance Scoreは、ユーザーのクエリと Codyのレスポンスとの 類似度を反映する。 Codyは、セマンティック検索を使用して、ユーザーのクエリと知識ベースに存在するデータを比較します。 関連性スコアが高いほど正確な回答が得られますが、クエリの全体的な文脈を理解することに妥協することになりますし、その逆もまたしかりです。 簡単に言うと、AIがミスやリスクを恐れながら対応する度合いが関連性スコアということになります。

レレバンスコアスライダー

トークン配布

トークンは、GPTファミリーのような大規模な言語モデルの計算通貨である。 ユーザーによるクエリ(入力文)は、”トークン”と呼ばれる文字のブロックに分解されます。
トークン
‘. AIモデルは本当にリソースを必要とするため、計算上の制約やメモリの制限に対応するため、これらのモデルは処理・生成できる入力データに一定の制限を設けています。 この限界は、’
コンテキストウィンドウ
‘.

コンテクストウィンドウイラスト

CodyはGPTファミリーのモデルを使用しており、使用できるトークンの数には限りがあります。 トークン配布機能は、トークンの用途を細かく管理するのに役立ちます。

主に「コンテキスト」「ヒストリー」「レスポンスジェネレーション」に分けられます。

  1. コンテキストです:ユーザーのクエリや知識ベースのコンテキストを理解するために必要なトークンです。
  2. 履歴です:チャット履歴を使用してユーザークエリにコンテキストを追加するために必要なトークンです。
  3. レスポンス生成:生成されたテキストの一貫性、文法、意味的妥当性を評価するために必要なトークンです。

トークン配布スライダー

最高の精度を得るためには、以下のことが重要です。
コンテキスト
を構成することが重要です。
の大部分を占めることが重要です。
トークン配布の

永続的なプロンプト

プロンプト(ボットの個性)を継続的に強化することで、会話の文脈と制約の形を作り出し、AIを軌道に乗せ、望ましい結果への準拠を維持できるようにします。 これは、AIがあらかじめ定義された境界線内にとどまり、適切で正確、かつ目標に沿った回答を提供するためのリマインダーとして機能します。

逆ベクトル検索

逆ベクトル検索は、Codyを社員教育に活用する企業向けに特化した機能です。 過去に生成されたAIの応答とユーザーのクエリをシームレスに統合し、包括的な文脈理解を行うことで、その後の応答の品質と関連性を向上させます。 特に、ステップバイステップのガイドやインストラクション目的でCodyを使用する場合に重宝します。

 

逆ベクトル検索の仕組みについて説明した画像です。

 

まとめとして

これらの用語をよく理解すれば、ボットの反応を洗練させ、よりパーソナライズされたものにすることができます。 Cody AIボットの可能性を最大限に引き出すためのガイダンス、アップデート、追加情報を提供する今後のブログにご期待ください。 その他のリソースについては、ヘルプセンターをチェックしたり、Discordコミュニティに参加することもできます。