Live AI エージェント エクスペリエンスが実際にどのように機能するか: フィールド ガイド

イベント、トレーニングルーム、公共スペースでのリアルタイム会話エージェント向けのベンダー中立のガイド

ほとんどのチームが構築したものとはまったく異なる動作をする AI 製品のカテゴリがあります。チャット ウィンドウも送信ボタンも、忍耐力もありません。誰かが歩いてきて口を開けると、時計が動き始めます。返信が 0.5 秒以内にあれば、会話しているように感じられます。 2秒以内に落下すると、そこに立っている人は壊れたと思い込み、立ち去ります。

これらはライブ エージェントです。人間と同じ部屋で、または同じ通話で会話を行うリアルタイムの音声駆動システムです。彼らは展示会のブース、トレーニングシミュレーション、博物館の売店、ホテルのフロントデスク、電話番号の後ろに現れます。そして、テキストチャットボットでは決して起こらない方法で失敗します。

この記事では、そのカテゴリが実際にどのように機能するかについて説明します。これは製品の売り込みやツールのリストではありません。騒々しい部屋で、見知らぬ人に 1 秒以内に応答しなければならないものを構築するのは、エンジニアリングとデザインの現実です。二度目のチャンスはありません。

「生きる」ということの本当の意味

決定的な制約は知性ではありません。時間です。

2009 年、ターニャ・スティバース率いる言語学者チームは、ある研究結果を出版しました。 PNAS 英語、日本語、デンマーク語、ラオス語、イタリア語、韓国語、オランダ語、ツェルタル語、イェリー＝ドニエ語、‡Ākhoe Hai||om の 5 大陸の 10 言語にわたる日常会話における話者間のギャップを測定します。所見は驚くほど均一でした。すべての言語は、応答オフセットの単一ピーク分布を示し、モードは 0 ～ +200 ミリ秒の範囲にあり、言語間の中央値は約 +100 ミリ秒でした。

これは、システムが審査される数値です。ベンチマークによるのではなく、幼児期からそれに基づいて調整されてきた神経系によるものです。

マシンが 100 ミリ秒に達するとは誰も期待しません。しかし、知覚的な崖は現実であり、実際に十分に文書化されています。800 ミリ秒あたりから、応答が著しく遅れていることがわかり始めます。約 1,500 ミリ秒を過ぎると、ほとんどの人は何かが間違っていると判断し、同じことを繰り返すか、作業をやめます。人間が物理的に画面の前に立っているライブ環境では、そのしきい値は電話よりも厳しくなります。これは、ネットワーク遅延がそれを吸収するという周囲の期待がないためです。

これは主観的な好みではありません。リアルタイム アバター システムに関する 178 人の参加者を対象とした独立したブラインド調査では、応答性が全体的なユーザー エクスペリエンスを予測する唯一の最も強力な指標であり、スピアマン相関係数は 0.697 で、ビジュアル品質を上回りました。ユーザーは、どのモデルがより良い顔をレンダリングしたかを教えてくれませんでした。彼らは、どちらが生きていると感じているかをすぐに、そして確実に教えてくれました。

ライブエージェントの構造

内部的には、ほぼすべてのライブ エージェントは 2 つのアーキテクチャのいずれかです。

カスケードされたパイプライン 離散モデルをチェーンします。音声が入力され、音声合成モデルがそれを文字に起こし、何らかのロジックでユーザーが話し終えたと判断し、言語モデルが応答を生成し、音声合成モデルが音声を合成し、音声が再生されます。各ステージは交換可能、監視可能、および独立して調整可能です。各ステージではレイテンシーも追加されます。

スピーチツースピーチモデル その連鎖を崩壊させます。音声は単一のマルチモーダル モデルに入力され、中間のテキスト ボトルネックなしで音声が出力されます。これは、OpenAI の Realtime API と Google の Gemini Live が提供するものです。これはより高速であり、トランスクリプトが捨ててしまう韻律（トーン、ためらい、強調）を保持します。また、途中で何が起こったかを制御する能力が大幅に低下しますが、これは、動作を記録、監査、または制限する必要がある場合に重要になります。

2026 年のほとんどの実稼働システムはハイブリッドです。つまり、実際の作業が必要なものに対しては、ツール呼び出しがより低速でより高性能なモデルを呼び出す、会話面を処理するリアルタイム モデルです。

時間はどこへ行くのか

Telnyx は、音声ターンの有用な分解を公開し、密に同じ場所に配置されたスタックと、別々の地域の別々のベンダーから組み立てられた一般的なスタックを比較しました。

ステージ	併置されたスタック	典型的なステッチスタック
ネットワーク/トランスポート	45ミリ秒	150ミリ秒
音声からテキストへの変換	100ミリ秒	225ミリ秒
LLM 推論	225ミリ秒	650ミリ秒
テキスト読み上げ	80ミリ秒	185ミリ秒
合計	450ミリ秒	1,210ミリ秒

2 つの点が際立っています。まず、LLM は両方の列で最大の単一行項目です。このため、単純な会話のターンを小さくて高速なモデルにルーティングし、本格的な推論のために大きなモデルを予約することが、利用可能な最適化の中で最も効果が高いのです。第二に、2 つの列の違いは知性ではありません。それは地理と配管です。同じモデルでも、配置が悪いと 4 分の 3 秒かかります。

これにレンダリングされた顔を追加する場合は、アバターの生成にさらに 150 ～ 200 ミリ秒を割り当て、最初のフレームが表示される前にビジュアル レイヤーが独自のセッション参加遅延を追加することが予想されます。

最も難しい問題は、いつ話すべきかを知ることです

ライブ エージェントを出荷した人に、何が最初に壊れたかを尋ねても、言語モデルについては答えないでしょう。彼らは順番を言うでしょう。

システムは、人間が無意識に解決し、機械がうまく解決しない質問に答える必要があります。 この人はもう話し終わったのでしょうか、それともただ考えているだけなのでしょうか？ 一方向に間違えると、エージェントが文章の途中で誰かの話を中断します。もう一方が誤解すると、エージェントはその人が待っている間黙って座っていて、その後両方が同時に話し始めます。

大きく分けて 4 つのアプローチがあり、それらは競合するのではなく、積み重ねられます。

1. 音声アクティビティ検出 (VAD)

小規模なモデルは、各オーディオ フレームを音声または非音声として分類します。 Silero VAD これはほぼ普遍的なデフォルトです。 VAD は高速かつ安価で、安定したバックグラウンド ノイズに対して堅牢ですが、純粋にオーディオ上で動作します。音が止まったのが分かります。文が終わったかどうかは分からない。

2. エンドポイント設定

ストリーミング トランスクリプトを監視し、通常は沈黙のしきい値の後に発話が完了したと判断するロジック。問題は算術です。沈黙のタイムアウトが 800 ミリ秒だと、ほぼ 1 秒が加算されます。 一つ一つの応答、処理が開始される前。 10 分以上の会話、つまり、構成によって支払われた数分間のデッドエアです。

3. セマンティックターン検出

小さな分類器が部分的なトランスクリプトを読み取り、沈黙ではなく意味からターンの完了を予測します。 「私の口座番号は 4 7 です -」は明らかに不完全です。 「それだけです、ありがとう」は明らかにそうではありません。 LiveKit は オープンウェイト回転検出器 低遅延の CPU 推論のために Qwen2.5-0.5B-Instruct から微調整され、14 の言語をカバーします。 Pipecat はスマートターンをオープンな代替手段として維持しています。これらのモデルはターンをコミットできるため、 前に 沈黙が続くと、彼らは最終的な税金を取り戻します。

4. 専用の会話音声モデル

最新のアプローチは、検出を認識モデル自体に組み込みます。 Deepgramさん フラックスは、2026 年 4 月から多言語形式で一般提供されており、待ち時間と精度をトレードする構成可能なしきい値を使用してターン終了検出の中央値が 260 ミリ秒であると報告し、従来の STT プラス VAD と比較してエージェントの応答待ち時間が 200 ～ 600 ミリ秒短縮されると主張しています。 Tavus は、Sparrow の会話フロー モデルでも同様のアプローチを採用し、語彙、意味、韻律、音響の手がかりを組み合わせて使用​​します。

アプローチ	使用信号	レイテンシの追加	特性故障
VADのみ	オーディオエネルギー	無音のしきい値に等しい	立ち止まって考える者を遮断する
STT エンドポイント	トランスクリプトストリーム	中等度	同じですが、少し賢くなっています
セマンティックモデル	部分的な転写の意味	低い;沈黙を先取りできる	不完全な文に対する誤ったコミット
会話型 STT	音声 + 語彙 + 韻律	最低	制御が少なくなります。新しい、戦闘テストが少ない

中断は設定ではなくポリシーです

バージイン (ユーザーが文の途中でエージェントを中断できるようにする) は、通常、単一のブール値として公開されます。それは間違いであり、誰もその理由を言えないのに、エージェントが「間違っていると感じる」最も一般的な原因です。

問題は、すべての受信音声が同じことを意味するわけではないことです。 Hamming の中断 Runbook から採用された便利な分類法は、それを 6 つのクラスに分割します。

入力	例	正しい行動
真の補正	「いいえ、金曜日です」	すぐに停止し、新しいターンを受け入れ、タスクのコンテキストを維持します
バックチャネル	「うーん」、「そうだね」、「そうですね」	話し続けてください。新しい意図として扱わないでください
偶発的な騒音	キーボード、空調設備、隣接した会話	無視して安全な場所から再開する
エンティティの長い一時停止	口座番号の途中	待ってください。早めに応答しないでください
サイレントタイムアウト	人が徘徊した	一度再プロンプトを表示してからリセットする
安全性のエスカレーション	「人が欲しい」	すぐに停止して手を引きましょう

最も信頼を損なう失敗は、誤った停止です。エージェントは、誰かが「わかりました」と言ったからといって文の途中で止まり、その後「わかりました」を新しい質問として扱います。これはエージェントが話を聞いていないように見えます。 VAD が周囲の音に合わせて常に起動するような騒がしい環境では、単純なバージイン設定では、これが 1 時間に数十回発生します。

修正はメッセージ タイプごとのポリシーです。挨拶は、短い猶予期間の後に中断できるようにする必要があります。メニューは DTMF と音声を受け入れる必要があります。エンティティのキ​​ャプチャは忍耐強く行う必要があります。法的開示や同意の表明は、決して中断可能であってはなりません。 「調べてみましょう」というフィラーは即座にキャンセルできる必要があります。

Live Agent が実際に適している場所

このセクションの正直なバージョンには、フォーマットがコストを稼げない箇所が含まれています。

設定	フォーマットが適合する理由	実際に何が壊れるのか
展示会とカンファレンス	目新しさは人の流れを止めます。エージェントはスタッフが忙しいときに資格を取得します。人々が実際に尋ねていることを捉える	80 dB 近くの周囲騒音。会場の Wi-Fi が不安定。訪問者は一人ではなくグループで到着します
トレーニングとリハーサル	社会的コストなしで、難しい会話を無制限に繰り返します。一貫したスコアリング。報告会は学習が行われる場所です	シナリオのリアリズムは難しい。学習者はシミュレーターでゲームをします。フィードバックの品質はシミュレーションよりも重要です
公共キオスク (美術館、交通機関、公共施設)	デフォルトで多言語対応。決して疲れません。タッチスクリーンを使用できない人々にとって真のアクセシビリティの向上	公共空間におけるプライバシーへの期待。破壊行為と虐待。無人稼働時間が長い。オフラインで正常に機能を低下させる必要がある
フロント＆コンシェルジュ	時間外とオーバーフローをカバーします。同じ15の質問に完璧に答えます	興味深いものはすべて例外です。エスカレーション パスが製品全体です
電話回線	無限の同時実行。レンダリングするビジュアルレイヤーがありません。成熟した、よく理解されたトランスポート	規制上の暴露;キャリア遅延。発信者は立ち去るよりも早く電話を切る
小売フロア	棚での商品の検索と比較	騒音、混雑、3メートル離れたところにいる人間を好む傾向が強い
合わないところは	継続的な読書、正確なデータ入力、複雑な文書レビュー、または訪問者が 1 分以上考える必要がある決定を必要とするもの。ライブ会話は、会話以外のものにとっては不適切なインターフェイスです。

優れたデプロイメントとデモを分けるパターン

上記のすべての設定にわたって、結果を生み出すデプロイメントは 1 つのプロパティを共有します。それはエージェントです。 何かを作る 質問に答えるだけでなく、会話中にも。

「あなたの製品は何をしますか？」に答えるブースのエージェントは、話すパンフレットです。訪問者の企業 URL を取得し、画面上に 1 ページの分析を 60 秒で作成するブースのエージェントは、トランザクションを変えました。訪問者は電子メール アドレスを教える理由があり、その後その経験を同僚に説明する理由も得られます。ロールプレイを実行するトレーニング エージェントは便利です。スコア付きの具体的な報告で終わるトレーニング エージェントは製品です。

会話はインターフェースです。成果物こそが価値なのです。

部屋が最も難しい部分です

これはスキップされるセクションであり、その日に物事が機能するかどうかを決定するセクションです。

ノイズ。 展示ホールでは大音量が発生するため、オープンマイクの音声検出は成功するよりも失敗することが多くなります。実際的な答えは、指向性マイクまたはビームフォーミング マイク、プッシュ トゥ トークまたはタップ トゥ トーク アフォーダンス、および可視テキスト フォールバックです。ハードウェア音響エコー キャンセル機能を備えた USB 会議スピーカーフォンは、最大のリスクに対する最も安価な解決策です。これがないと、画面自体のスピーカーがマイクにフィードバックし、エージェントが中断してしまうためです。

接続性。 会場のWi-Fiはコイントスです。携帯電話のホットスポットを導入し、イーサネット経由でマシンをそこに配線し、定型応答のセットをキャッシュして、アトラクト ループと基本的な応答がドロップアウトしても存続できるようにします。

セッションの衛生管理。 訪問者間のハードリセットはオプションではありません。前の人の電子メール アドレス、会社名、または画面上の会話を誰も見てはいけません。誰かが文章の途中で逸れたときに、ディスプレイをアトラクション モードに戻すタイムアウトを構築します (常にそうするでしょう)。

セッション制限。 リアルタイム セッションには期間の上限があり、その期間は終了します。新しいセッションに短い概要を伝える再接続を構築します。そうしないと、エージェントが群衆の前での会話の途中で誰かの名前を忘れてしまいます。

ガードレール。 ライブエージェントは、カスタム価格を見積もったり、スケジュールを約束したり、約束をしたりしてはなりません。取引に関わるものはすべて人間の手に委ねられます。これはシステムプロンプトで強制する価値があります そして 失敗は公開され、引用可能であるため、生成後のチェックで。

会いましょう?

カメラは、ライブ エージェントにとって最も魅力的であり、最も危険な追加物です。

本当に役立つアプリケーションは狭いものです。誰かが近づいてきて画面に向かっていることを検出して、システムを起動できるようにすることです。調整できるように出席者の数を数えます。誰かが目をそらしたことに気づき、立ち止まることができます。そして、バッジ、名刺、Web サイトを表示している携帯電話など、人が意図的に掲げたものを読み取ります。最後の方法は明示的にオプトインされているため、最も強力です。 「バッジをカメラにかざしてください」という指示は、誰も入力することなく会社名を取得できる自然な指示です。

してはいけないことは 2 つあります。それは、誰かの外見についてコメントすることと、以前に訪問した人を認識することです。どちらも 2 秒間はパーティーのトリックとして読み取られ、その後は監視として読み取られます。

チームの遅れを招くコストの罠もあります。リアルタイム マルチモーダル API は、蓄積されたセッション コンテキストに対してターンごとに請求されます。継続的にストリーミング カメラを使用すると、すでに送信したすべてのフレームがそのコンテキスト内に留まり、後続のターンごとに再請求されます。オープンカメラによる 8 時間のセッションにより、本当に憂慮すべき請求書が作成されました。アーキテクチャ上の答えは、存在検出をローカルに維持することです (MediaPipe などのオンデバイス モデル)。 ポーズランドマーク または 顔のランドマーク オフラインで即座に実行され、ユーザーが実際に参加して初めて有料のリアルタイム セッションが開きます。アクティブな間またはオンデマンドでのみ、おそらく 1 秒に 1 つずつ、フレームを控えめに送信し、フレームが終了するときにセッションを強制的に閉じます。おまけに、アトラクション モードには費用がかからず、ネットワークも必要ありません。

開示、同意、および新しいルール

2026 年 8 月 2 日の時点で、EU AI 法の第 50 条が適用されます。自然人と直接対話する AI システムは、人々が AI と対話していることを知らされるように設計され、合成または操作されたコンテンツが最初の露出時に明確に開示されることが求められます。高リスクの AI をまったく導入していない組織でも、顧客対応の会話型エージェントや合成プレゼンターを実行するだけで、これらの義務に真っ向から陥る可能性があります。欧州委員会が発表した ガイドライン 義務がどのように適用されるかについて。

米国の電話回線では、FCC の決定以来、この立場は解決されています。 2024 年 2 月の確認判決これにより、TCPA では、AI が生成した音声が「人工音声または事前に録音された音声」としてカウントされることが確認されました。これには、同意、身元確認、開示、オプトアウトの要件が伴い、違反ごとに 500 ドルから始まる法定損害賠償が課せられます。

法的根拠を超えて、物理的空間で維持される慣行は地味なものです。

• フッターではなく最初の文で AI であることを述べます。
• カメラまたはマイクを備えた設置場所に目に見える標識を設置します。
• カメラ フレームを処理して破棄します。しつこく言わず、誰かに聞かれたときに正直に言えるようにしましょう。
• ハードウェア インジケーター (物理シャッター、またはアクティブ セッション中にのみ点灯する LED) を使用します。
• 会場契約書を確認してください。一部のカンファレンス規約ではフロア内での録音を制限しており、「ストリーミングのみで録音ではない」という区別は主催者が受け入れられない可能性があります。
• 生体認証プライバシー法が定められた管轄区域で顔や声紋を撮影する場合は、まず書面による同意を得てください。特にイリノイ州の BIPA には私的訴訟権が含まれています。

何を測定するか

ほとんどのライブ エージェントの導入は、バイブスに基づいて評価されます。実際に何かを伝える手段:

メトリック	なぜそれが重要なのか
最初のオーディオバイトまでの時間、p50 そして p95	中央値はデモがどのように感じられるかを表します。 p95 はユーザーがどのように感じるかです。テールレイテンシは人々の関与を解除する場所です。
誤遮断率	騒音や裏声が実際のターンと誤認される。 「壊れているように感じる」の主な要因。
中断失敗率	実際の修正は無視されます。人々が同じことを繰り返したり、諦めたりする原因になります。
セッションあたりのターン数	1 ターンのセッションは、オープニングが失敗したことを意味します。 15 ターンのセッションは、エージェントが何も解決していないことを意味する可能性があります。
放棄点	流れの中で人々が立ち去ったり、電話を切ったりする場所。通常は 1 つの特定のプロンプトが表示されます。
エスカレーション率と品質	ハンドオフにコンテキストが含まれている場合、ハンドオフは失敗ではなく成功です。
未回答の質問ログ	あらゆる公開デプロイメントの中で最も価値のある成果物。自由な測位調査です。

1 つのクロックでオーディオの両側を記録します。共有クロックがなければ、実際のレイテンシを測定することはできません。実際のレイテンシは、自分のスタックが報告するものだけであり、これら 2 つの数値は 1 秒も異なる可能性があります。

飛行前のチェックリスト

ライブ デプロイメントの前に、問題が発生するおおよその順序は次のとおりです。

1. 自分のログからではなく、録音されたオーディオから p50 と p95 のターン レイテンシーを測定します。
2. 会場の実際の音量で実際のバックグラウンドノイズをテストします。
3. 6 つの割り込みクラスすべてに対するバージインを個別にテストします。
4. 画面上を含め、ユーザー間でセッションが完全にリセットされたことを確認します。
5. 誰かが文の途中で退席したときにアトラクトモードのタイムアウトが発生することを確認します。
6. ネットワーク ケーブルを抜き、障害が正常に完了することを確認します。
7. セッションが切断された後、再接続でコンテキストが引き継がれることを確認します。
8. エージェントに価格を提示させたり、日付を約束したり、引用可能なことを言わせるようにしてください。
9. AI の開示が最初の交換で行われることを確認します。
10. 標識、カメラのインジケーター、データ保持のストーリーが実際の活動と一致していることを確認します。
11. ロールバックを用意します。静的な画面、QR コード、そして人間です。

結論

ライブ エージェントは、マイクが接続されたチャットボットではありません。チャット インターフェイスでは、遅延、あいまいさ、失敗がテキスト ボックスの背後に隠されているため、ユーザーは喜んで待ちます。それを取り除くと、積み重ねられたあらゆる弱点が、見知らぬ人の前で起こる社会的な出来事になります。

これを正しく理解しているチームは、交代モデル、マイク、ネットワーク、リセット、ハンドオフなどの退屈な事柄を最適化します。彼らはエージェントの仕事を小さく保ち、早めに引き継ぎます。彼らはその人が何かを持って帰るようにします。そして彼らは、すべての人間が誕生以来訓練されてきた 200 ミリ秒の会話のギャップを、あれば便利なものとしてではなく、実際の仕様として扱います。

それ以外はすべてデモです。