Author: Om Kamath

データセキュリティとプライバシーへの取り組み

ChatGPTは人工知能の代名詞となり、これまでAIになじみのなかった人たちでさえ、AIについての知識を得るようになった。 その人気は急上昇し、企業や個人はChatGPTに似ているが自社のデータに合わせたAIボットを求めるようになった。 Cody AIでは、このプロセスを簡素化し、合理化することで、AIの複雑な技術的問題を掘り下げる必要をなくすとともに、最新のイノベーションに対応することを目指しています。

カスタムユースケースでAIを使用する個人や企業の間で大きな懸念となっているのが、データの完全性とセキュリティだ。 GPTのような言語モデルを構築するには、膨大なトレーニングデータセットを使用する必要がある。 Cody AIでは、このような懸念を理解し尊重し、お客様のデータとプライバシーの保護を優先しています。

Codyがどのようにプロセス全体を通してデータのセキュリティを確保するのかを理解するために、その道のりを3つのセクションに分けてみよう：ドキュメント、エンベッディング、モデルです。

書類

Codyは安全でプライベートなAmazon Simple Storage Service (S3)を利用し、処理前の初期段階でドキュメントを保存します。 S3は全てのバケットへの全てのオブジェクトのアップロードの暗号化を保証し、PCI-DSS、HIPAA/HITECH、FedRAMP、EUデータ保護指令、FISMAのような様々なプログラムへのコンプライアンスを維持する。 これにより、お客様のデータは確実に保護され、規制要件に準拠します。 Codyにアップロードされたドキュメントは、SSE-S3(Server-Side Encryption)プロトコルに従い、あなたとあなたのチームメンバーだけがアクセスでき、データの機密性とプライバシーが保証されます。

埋め込み

エンベッディングは基本的に、データをベクトル（数値のリスト）の形で表現したものです。 コーディに提供されるデータは構造化されていないため、埋め込みデータに変換することで、より高速な検索と意味検索が可能になる。 Codyがどのように文書から回答を生成するかについては、こちらの記事をご覧ください。

これらのベクトルや埋め込みを保存するために、CodyはPineconeという大企業から信頼されているセキュアなベクトルデータベースに依存している。

Pineconeは、以下のような強固なセキュリティ機能を提供している：

1. SOC2 Type II 認証
2. GDPR対応
3. 脆弱性をチェックするための定期的な侵入テスト。
4. 完全に管理されたセキュアなAWSインフラ上でKubernetesコンテナを分離し、データを保存。

モデル

Cody AIはOpenAIのGPTモデル（GPT-3.5、GPT-3.5 16K、GPT-4を含む）を活用して応答を生成します。 リソースの制限のため、これらのモデルはコーディのネイティブサーバーではホスティングされていません。 その代わりに、OpenAIが提供するAPI（ドキュメントやクエリのエンベッディングの作成にも使用される）を利用する。 回答を生成する際には、すべての文書を送信するのではなく、質問されたことに関連するデータの特定の部分のみをリクエストで送信する。 このアプローチは、効率的な処理、データの完全性を保証し、不必要なデータ転送を最小限に抑える。 APIによって提供される追加のセキュリティメカニズムは、あなたのデータが既存または新しい言語モデルの学習に使用されないことです。 これにより、お客様のデータはお客様のボットに限定され、モデルのトレーニング目的には使用されません。

2023年3月1日より、データの使用および保持に関するポリシーを2点変更いたします：
1.OpenAIは、お客様が明示的にこの目的のためにお客様のデータを弊社と共有することを決定しない限り、弊社のモデルを訓練または改善するために、弊社のAPIを介してお客様から提出されたデータを使用しません。 データ共有のオプトインが可能です。
2.APIを通じて送信されたデータは、不正使用および誤用監視の目的で最大30日間保持され、その後削除されます（法律で義務付けられている場合を除く）。

ソースオープンAI

このコミットメントにより、機密性のレイヤーが追加され、お客様のデータのプライバシーとセキュリティが保証されます。 詳しくはこちらの記事をご覧いただきたい。

結論

これら3つの要素を総合的に考慮すると、Cody AIはデータ・セキュリティとコンプライアンスに対してきちんと構築されたアプローチを示し、お客様のデータの99％のセキュリティを保証します。 データ・プライバシーが最も重要視される時代において、私たちはお客様のデータの完全なセキュリティを確保するために、それ以上の努力を惜しみません。

Cody AIとそのデータセキュリティに関するご意見やご質問は、ヘルプをご覧ください。 また、Discordコミュニティへの参加も大歓迎です。貴重な意見を提供したり、ディスカッションに参加したりすることができます。

CodyのナレッジベースとトレーニングChatGPTにExcelデータを追加するためのガイドを無料で提供しています。

御社のExcelデータでコーディーのトレーニングを始める前に、ボットから最高の回答を得るためにいくつかのコンセプトを明確にする必要があります。 GPT（Generative Pre-Trained Transformers）とは、文やフレーズを完成させるために、次の単語を予測するために広範なデータセットで訓練された言語モデルである。 これらは特に、構造化されていない会話や文字データの大規模なサンプルからなる自然言語データセットで学習される。 線形回帰のような統計モデルとは異なり、GPTは論理的な学習データを使って数値を予測することには長けていない。 例えば、2+2=5と主張するデータセットでGPTを訓練すると、GPTは論理的矛盾を理解しようとせずに、2+2=5と答えるだろう（これはあくまで例であり、OpenAIはこのようなクエリにも正確な回答を返す）。 これはLLMのもう一つの限界である幻覚と相まって、数学的計算には不向きな環境を作り出している。

ステップ1：エクセルデータの変換

ボットを訓練したいCSVまたはExcelデータを取得し、弊社が作成したユーティリティを使用してテキストファイルに変換します。 このユーティリティは、対応するヘッダーでデータに注釈を付けることで、エクセルデータをテキストファイルに変換します。 セル項目にヘッダーのアノテーションを付けることで、前処理の段階で文書のセグメンテーションによってヘッダーがスキップされる可能性が高くなるため、言語モデルが文脈をより理解しやすくなる。

例えば。

エクセルのデータ：

テキストデータ：

{The Name is ‘John’. The Age is ‘16’.}, {The Name is ‘Marie’. The Age is ‘18’.}

生成されるテキストファイルは、JSONに似たフォーマットに従っているが、より人間に近い感覚を提供するために、より文学的なスタイルになっている。 このソリューションは現在実験段階であり、Codyアプリにはまだ統合されていませんが、GPTの3モデルすべてでうまく機能します。

ユーティリティ・インターフェース：

サンプルCSVデータ：

ボットから最高の品質の回答を得るには、変換前にデータをクリーニングすることをお勧めします。

CSVまたはExcelデータをユーティリティにアップロードした後、GPT互換テキストファイルを生成する前にデータをプレビューすることができます。

パートごとの行数：大きなデータセットの場合、データセットを複数のパートに分割することが望ましい。 この分割により、セマンティック検索が改善され、回答の質が向上する。

セル参照を含める：テキストファイルにExcelのセル参照を含める場合は、このオプションを選択できます。 ボットは、エクセルで実行可能なアクションのステップバイステップのガイドを作成する際に、これらのセル参照を参照することができます。 例えば、中央値を求める数式を生成することができる。

圧縮されたzipフォルダーが生成され、その中にはエクセルデータのすべての部分が.txt形式で含まれています。

ステップ2：Codyナレッジベースにデータを追加する

変換されたデータをCody Knowledge Baseに追加するには、以下の手順に従ってください：

1. Codyのアプリケーションにアクセスし、「コンテンツ」セクションに移動する。
2. ナレッジ・ベース内にデータを保存する新しいフォルダを作成します。
3. フォルダが作成されたら、その中に移動する。
4. アップロード」ボタンをクリックして、変換されたデータをアップロードします。
5. ローカル・ストレージから、ナレッジ・ベースに追加したい変換データ・ファイルをすべて選択します。
6. 選択を確認し、アップロードプロセスを開始します。
7. 変換されたデータファイルはアップロードされ、作成したフォルダ内に保存されているCody Knowledge Baseに追加されます。 文書が正常に学習されると、文書のステータスが「学習済み」と表示されます。

ステップ3：ボットパーソナリティの設定

これはまだ実験段階なので、テンプレートモードに追加する前に、プロンプトの改良に取り組んでいます。

プロンプト

あなたはデータ・コーディ、私の会社のAIデータ・アナリストです。 あなたの主な目的は、提供されたExcelデータから推論を生成することです。 エクセルのセル参照は、$Cellの形式で指定することができる。 回答にはセル参照を記載しないでください。 ‘{}’に含まれる情報は1レコードである。 特定の記録の詳細を尋ねられた場合は、ポインタで列挙する。

システムプロンプト：

どんな些細なことでも聞かれたら、人間らしく答えるようにする。 自分の答えを正当化してはいけない。

このプロセスはGPTの3つのモデルすべてで有効なので、無料プランの方でもお試しいただけます。 しかし、GPT-3.5の16KとGPT-4のモデルは、データをよりよく理解する傾向があることは注目に値する。 無料プランで得られる回答には満足しているが、回答の書式をより柔軟に変更したり、複数のレコードを比較したりしたい場合は、GPT-3.5 16K または GPT-4 にアップグレードすることが有益です。 これらのモデルによって提供される追加のコンテキストウィンドウは、より包括的な分析とデータの操作を可能にする。

デモ

最初のクエリの参照：

2つ目のクエリの参照：

制限事項

CodyにExcelやCSVファイルをアップロードできるからといって、Google SheetsやMicrosoft Excelのような表計算ツールの直接の代替にはならない。 Codyで構造化データを扱う場合、考慮すべきいくつかの制限がある：

1. 分析的課題中の幻覚：コーディに平均値、中央値、最小値/最大値を尋ねるなど、統計的または分析的な計算を伴う課題では、誤った回答が得られることがある。 コーディはリアルタイムの計算を行わないため、不正確な結果を提供する可能性がある。 コード・インタープリターや関数呼び出しのようなOpenAIの最近のアップデートは、将来的にこれを改善するかもしれない。
2. レコード比較中のエラー：場合によっては、Codyがドキュメントの異なるセグメントからデータを取得する際に問題が発生し、その結果、情報が利用できないことを示す応答が返されることがあります。 このシナリオは、無料プランで利用可能なGPT-3.5モデルで可能性が高くなります。 ベーシックプランまたはプレミアムプランにアップグレードすると、GPT-3.5 16KモデルまたはGPT-4モデルを使用できるようになります。 これらのモデルはどちらもコンテキストウィンドウが大きく、この制限に対処できる可能性がある。

結論

このような制限はありますが、このプロセスは、ビジネスFAQデータや、従業員のトレーニングデータなどのリテラルデータがExcelやCSV形式で保存されている場合に特に有効です。 Codyは、このデータに対して何の修正も必要とせずに訓練することができる。 Codyはまた、単一のレコードの詳細を取得したり、データを説明したり、貸借対照表や売上高のような数値データセットから推測される洞察に基づいて提案を提供したりする際にも優れたパフォーマンスを発揮する。

エクセルやCSVデータでコーディをトレーニングするための暫定的なソリューションとして、この方法についてのご意見をお寄せください。 私たちはあなたの意見を尊重し、私たちのDiscordサーバーで、またはヘルプを得る機能を通じて私たちとあなたの考えを共有することをお勧めします。 私たちはあなたの経験を聞き、あなたのフィードバックから多くを学びたいと思っています。 エクセルデータを使ったGPTの無料トレーニングのアプローチ、気に入っていただけたでしょうか？ コーディについてもっと知りたい方は、私たちのブログをご覧ください。

目まぐるしく変化する今日のデジタル社会において、AIを日々のコミュニケーション・ツールに組み込むことは単なる贅沢ではなく、必要不可欠なことなのだ。 このニーズを認識し、CodyとのAI Slack統合機能を発表できることを嬉しく思います。 この統合は、コミュニケーションにSlackを多用している企業や法人のSlack体験を向上させるように設計されている。 企業文書で訓練されたCodyボットを統合することで、ユーザーはSlackワークスペース内で、より合理的で効率的なコミュニケーションプロセスを享受できるようになった。

CodyのAIをSlackワークスペースに統合する方法

1. CodySettings> Integrationsに移動し、Install Slackをクリックして、Cody BotをSlackワークスペースに追加します。
2. Cody Settings> API Keysから Create API KeyをクリックしてAPI Keyを取得します。
3. SlackのワークスペースでCody Appを検索し、HomeセクションでAPI Keyを設定します。
4. ワークスペースの任意のチャンネルに移動して
   /assign-bot
   コマンドを使用して、Codyアカウントからそのチャンネルにボットを割り当てます。
5. ボットに質問するには、次のように入力するだけです。 @Cody 続いて、あなたの質問。 コーディがあなたの質問に答えるために、チャンネルに新しいスレッドを作成します。 そのスレッド内のメッセージはすべてチャット履歴とみなされます。 新しい会話を始めたい場合は、スレッドから退出し、次のように言ってください。 @Cody 再び

コーディーのAI統合の未来

このAI Slack Integrationは、サードパーティ製アプリケーションとの統合における当社の先駆的な取り組みのひとつです。 ユーザーからの圧倒的な要望と人気が、この機能開始の原動力となった。 そして、これはほんの始まりに過ぎない！ 現在、Discordや Zapierなどの追加機能や統合を開発中です。 これらのエキサイティングなアップデートは近い将来展開される予定だ。

あなたのフィードバックが重要

皆さんの洞察とフィードバックは、私たちにとってかけがえのないものです。 彼らは私たちのイノベーションの方向性を形成し、私たちが常に最高のものを提供することを保証します。 この統合について、あなたの考えや経験を共有していただきたい。 私たちのDiscordサーバーに接続するか、アプリ内の「ヘルプを得る」ボタンからご連絡ください。

思い通りに動くボットを作るコツ

言語モデルを利用したボットを構築する場合、特に最初のうちは忍耐が重要であることを認識することが不可欠だ。 基礎が固まれば、追加コンポーネントを加えるのも容易になる。 コーディでボットを作るのは、キャンバスに絵を描くのに似ている。 ボットに自分らしさを加えるには、ある程度の創造性と基本的な理解が必要だ。

ボットが特定の思考スタイルを採用できるようにする主なパラメータは、パーソナリティ・プロンプトです。 ボットの個性は、トークンの分布や関連性スコアなど、さまざまな要因によって形作られる。 しかし、個性を表すプロンプトは、ユーザーごとに異なるカスタマイズが可能なため、最も特徴的でクリエイティブな側面を持っている。 ユーザーは、特定の要件に応じてボットの個性を自由に作成し、微調整することができます。

自由は誰にとってもありがたいものだが、白紙の状態から始めると、威圧的になり、何から始めたらいいのか曖昧になることもある。 もしあなたが同じように感じているなら、心配する必要はない。このブログは、あなたがより良いパーソナリティ・プロンプトを作成するのに役立つはずだ。 まず、推奨されるプロンプトの構成から説明し、次にプロンプトのサンプルをいくつか示します。

名称

ボットに名前をつけることから始めると常に有益です。 ボットに名前を付けることで、特にユーザーへの挨拶やボットに関する質問に対応する際に、人間味が加わります。

プロンプト

あなたの名前は[Name of your Bot] 。
または
あなたは「[Name of your Bot] 」です。

説明

ボットの記述は、知識ベースを通じて提供されるコンテキストを認識させる。 コンテキストを認識することで、ボットに特定のドメインを念頭に置きながら質問に答えるためのフレームワークを提供する。

プロンプト

あなたの主な仕事は、[specify the domain] 。
または
あなたの主な目的は、[specify the domain] 。

注： 一般セクションで設定されるボット名と 説明は、複数のボットを区別するための便宜的なものです。 ボット自身はこれらの設定に気づいていない。 そのため、パーソナリティ・プロンプト内でボットの名前と説明を明示的に定義して、ボットのアイデンティティと特性を確立する必要があります。

バウンダリー

大規模なデータセットで訓練されたLLMを使用することの潜在的な欠点の1つは、幻覚反応を生成する傾向があることである。 重要なのは、コーディがオンデマンドでLLMを微調整したり再トレーニングしたりするために、回答を生成するためのデータが利用されないということだ。 その代わり、LLMに問い合わせる際のコンテキスト参照として機能するため、応答が速くなり、データのプライバシーが保たれる。

ボットが元のLLMデータセットのデータポイントを参照しないようにするには、類似のドメインや概念と重複する可能性があるため、コンテキストを知識ベースに厳密に限定する必要がある。

プロンプト

ナレッジベースが唯一の情報源だ。
または
ナレッジベースに記載されていない限り、あなたはいかなる主張もしたがらない。

ボットがナレッジベースを必要としない場合や、ナレッジベースを参照元として使用する場合もあるだろう。 その場合、プロンプトは大きく変わる。

プロンプト

あなたの主な参照源は知識ベースです。

レスポンスの特徴

ボットが生成する応答の特徴は、ボットの個性によってもある程度コントロールできる。 これは、ボットに期待するトーン、長さ、言語、反応のタイプを定義することで構成されます。

プロンプト

1.トーン： [polite/friendly/professional] 。

2.長さ：回答は、[pointers/paragraphs] 。

3.言語ユーザーへの返信[in the same language/specify different language].

4.タイプ： [creative/professional/precise] 。

さまざまな組み合わせや機能を自由に試してみてほしい。 ここに挙げた例は、あくまでも学習のためのものであり、可能性は無限にある。

メディア

Codyの最も興味深い機能のひとつは、回答にメディアを埋め込めることだ。 画像、GIF、動画などのメディアを埋め込む場合は、メディアを別のドキュメントにインポートするか、メディアを追加できる組み込みのCodyテキストエディタを使って生のドキュメント全体をインポートすることを常にお勧めします。 メディアをコピー／ペーストするか、URLを使ってドキュメントに埋め込むことができます。

メディアのインポートに成功したら、ボットパーソナリティープロンプトで同じものを指定する必要があります。 プロンプトは2つのパートに分けられる：初期化とイラストレーション。

プロンプト

初期化：
適切な場合には、知識ベースから関連する[images/videos/both] 。

イラスト
<img> タグを使って画像を追加し、<iframeを使って動画を追加する。>
例えば、こうだ：
<img src=”[Image URL]”>
<iframe src=”[Video URL]”></フレーム>

フォールバック

ボットが、ユーザーからの質問に関連するコンテンツを見つけられないこともあるでしょう。 ユーザーに誤解を与えたり、間違った情報を提供することを避けるために、このようなシナリオに対するフォールバックを定義しておくことは常に安全である（ナレッジベースが存在するユースケースでのみ適用可能）。

プロンプト

1.会話中に「非構造化知識ベース」やファイル名を口にするのは控える。

2.明確な答えが得られない場合、[Define fallback] 。

または

ナレッジ・ベースで関連情報が見つからない場合、またはナレッジ・ベースに含まれていない関連性のない質問をユーザーがした場合、[Define fallback] 。

ステップ（オプション）

ボットに特定の会話のタイムラインやフローに従わせたい場合は、ステップを使って簡単に定義することができます。 このアプローチは、トレーニングやトラブルシューティングの目的でボットを使用する場合に特に有効です。 各ステップは、会話の特定のフェーズまたは段階を表し、進行を制御し、ボットが体系的な方法で必要な情報や支援を提供することを保証することができます。

プロンプト

ユーザーとの会話中は、以下の手順に従ってください：

1. [Step 1]

2. [Step 2]

3. [Step 3]

注：ステップを定義している間、返信を改善するために「逆ベクトル検索」を有効にし、チャット履歴に適切な数のトークンを割り当てることをお勧めします。 これにより、返信を生成する際に、ユーザーの入力とボットの以前の応答を含む会話の履歴を考慮することができる。

データキャプチャー（オプション）

このプロンプトは、会話の流れ（ステップ）と調和しており、ボットのユースケースがサポートや採用のシナリオを中心に展開される場合に特に有益です。 現在のところ、コーディにはデータをキャプチャして分析用に保存できるような長期メモリやデータベース接続はない。 将来的には、関数呼び出しのようなOpenAI APIのより新しいアップデートに伴い、我々は間違いなく、より長期的にデータをキャプチャして保存できるような新しい機能をもたらすでしょう。

今のところ、チャットセクションの「ゲスト」チャットに移動することで、（ウィジェットを介して）ボットユーザーのチャットにアクセスできます。 その後、取得したデータを手動で分析し、さらなる洞察を得ることができる。

プロンプト

ユーザーから以下のデータを収集する：

– [Field 1]

– [Field 2]

– [Field 3]

– [Field 4]

質問は一度にひとつずつ。 必要な情報をすべて収集したら、感謝の言葉を述べ、収集したデータを表示して会話を終える。 覚えておいてほしいのは、あなたの仕事はデータを集めることだけだということだ。

応答フォーマット

Codyのちょっとした気の利いた機能は、マークダウンやHTMLタグを使ってボットの応答をフォーマットできることだ。 ボットのパーソナリティでHTMLまたはマークダウン形式のテンプレートをボットに提供することで、ボットは必要なときにいつでもそれに応じて応答をフォーマットしようとします。

プロンプト

回答形式：

<h1>[Field Name]</h1>

<p>[Field Name]</p>

<p>[Field Name]</p>

*フォーマットはGPT-4に最適

プロンプトの例

リードジェネレーションボットとしてのコーディ

マーケティングボットとしてのコーディ

トレーニングボットとしてのコーディ

プロンプトの詳細については、パラメータ設定とともにプロンプトの詳細が記載された使用例をご覧ください。

結論

Codyの無料プランの場合、ボットがプロンプトに従わなくなったり、コンテキストウィンドウが小さかったり、一貫性がないために、いくつかのパラメータを無視したりする可能性があります。 Codyの使い方を理解し、ご自身のビジネスへの適合性を判断するために、無料プランを試用目的または移行段階としてのみ利用することをお勧めします。

ボット用のプロンプトを作成する際には、簡潔さを維持し、記事に記載されているすべてのパラメータを取り入れないようにすることも重要です。 使用可能なトークン数には限りがあり、パーソナリティ・プロンプトもトークンを消費するため、トークンは慎重に構築する必要がある。 この記事にあるプロンプトは、あなたのニーズや好みに応じて自由に変更してください。 何か新しい発見がありましたか？ いつでも私たちと共有してください。

これは、ボットのパーソナリティ作成の広大な風景を紹介したに過ぎない。 LLMは日を追うごとに改善され続けているが、その可能性を十分に生かすにはまだ長い道のりがある。 この旅は私たち全員にとって新しい経験だ。 新しいユースケースやシナリオを実験し、学び、実装し続ける中で、私たちは記事やチュートリアルを通じて、皆さんと共有していきます。 さらに詳しい情報については、ヘルプセンターをご覧ください。また、Discordのコミュニティーに参加して、コーディに関する質問をお気軽にお寄せください。 このような興味深い洞察については、過去のブログもご覧いただきたい。