Wszystkie artykuły
Sztuczna inteligencja w czasie rzeczywistym

Jak faktycznie działają doświadczenia agentów AI na żywo: przewodnik terenowy

Niezależny od dostawcy przewodnik po agentach konwersacyjnych działających w czasie rzeczywistym na imprezach, w salach szkoleniowych i w przestrzeni publicznej. Istnieje kategoria produktów AI, która w niczym nie przypomina produktów zbudowanych przez większość zespołów. Nie ma okna czatu, przycisku wysyłania ani… Czytaj więcej »

Przez Om KamathCzas czytania: 14 minuty
Gość na targach rozmawiający z kioskiem agenta AI, na którym widać świecącą kulę podsłuchową

Neutralny dla dostawców przewodnik po agentach konwersacyjnych działających w czasie rzeczywistym na imprezach, w salach szkoleniowych i w przestrzeni publicznej

Istnieje kategoria produktów AI, która w niczym nie przypomina produktów zbudowanych przez większość zespołów. Nie ma okna czatu, przycisku wysyłania ani cierpliwości. Ktoś podchodzi, otwiera usta i zegar się uruchamia. Jeśli odpowiedź nadejdzie w ciągu pół sekundy, będzie to przypominało rozmowę. Jeśli wyląduje w ciągu dwóch sekund, osoba tam stojąca zakłada, że ​​jest zepsuta i odchodzi.

Są to agenci na żywo: działające w czasie rzeczywistym systemy oparte na mowie, które prowadzą rozmowę w tym samym pokoju lub podczas tej samej rozmowy, co człowiek. Pojawiają się na stoiskach targowych, w symulacjach szkoleniowych, w kioskach muzealnych, w recepcjach hoteli i pod numerami telefonów. I zawodzą w sposób, jakiego nigdy nie robi chatbot tekstowy.

W tym artykule opisano, jak faktycznie działa ta kategoria. To nie jest prezentacja produktu ani lista narzędzi. To inżynieryjna i projektowa rzeczywistość polegająca na budowaniu czegoś, co musi odpowiedzieć nieznajomemu w ciągu sekundy, w głośnym pomieszczeniu, bez drugiej szansy.

Co właściwie oznacza „na żywo”.

Ograniczeniem definiującym nie jest inteligencja. Nadszedł czas.

W 2009 roku zespół lingwistów pod przewodnictwem Tanyi Stivers opublikował badanie w: PNAS mierząc różnicę między osobami mówiącymi w zwykłej rozmowie w dziesięciu językach na pięciu kontynentach — angielskim, japońskim, duńskim, laotańskim, włoskim, koreańskim, holenderskim, tzeltal, Yélî-Dnye i ‡Ākhoe Hai||om. Odkrycie było wyjątkowo jednolite. Każdy język wykazywał jednoszczytowy rozkład przesunięć odpowiedzi, z trybem mieszczącym się w zakresie od 0 do +200 milisekund i medianą międzyjęzykową wynoszącą około +100 ms.

To jest liczba, na podstawie której oceniany jest Twój system. Nie według wzorca, ale przez układ nerwowy, który jest na nim kalibrowany od dzieciństwa.

Nikt nie spodziewa się, że maszyna osiągnie 100 ms. Jednak klif percepcji jest rzeczywisty i jest dobrze udokumentowany w praktyce: około 800 ms odpowiedź zaczyna być odczytywana jako zauważalnie opóźniona; po upływie około 1500 ms większość ludzi dochodzi do wniosku, że coś poszło nie tak i albo powtarza operację, albo rozłącza się. W przypadku transmisji na żywo, gdy osoba fizycznie stoi przed ekranem, próg ten jest ostrzejszy niż w przypadku telefonu, ponieważ nie ma żadnych oczekiwań, że opóźnienie sieci go pochłonie.

To nie jest subiektywna preferencja. W niezależnym badaniu na ślepo, w którym wzięło udział 178 uczestników, dotyczącym systemów awatarów działających w czasie rzeczywistym, responsywność była najsilniejszym pojedynczym czynnikiem predykcyjnym ogólnego doświadczenia użytkownika – korelacja Spearmana wyniosła 0,697, przed jakością wizualną. Użytkownicy nie byli w stanie powiedzieć, który model renderuje lepszą twarz. Mogli natychmiast i wiarygodnie powiedzieć, który z nich czuł się żywy.

Anatomia żywego agenta

Pod maską prawie każdy agent działający na żywo ma jedną z dwóch architektur.

Kaskadowy rurociąg łączy dyskretne modele: przychodzi dźwięk, model zamiany mowy na tekst go transkrybuje, jakaś logika decyduje, że użytkownik skończył mówić, model językowy generuje odpowiedź, model zamiany tekstu na mowę syntezuje dźwięk, a dźwięk jest odtwarzany. Każdy etap można zamieniać, obserwować i niezależnie dostrajać. Każdy etap zwiększa również opóźnienie.

Model mowy na mowę zrywa ten łańcuch. Dźwięk trafia do pojedynczego modelu multimodalnego i wychodzi, bez pośredniego wąskiego gardła w tekście. To właśnie zapewniają interfejs Realtime API OpenAI i Google Gemini Live. Jest szybszy i zachowuje prozodię – ton, wahanie, akcent – ​​które odrzuca transkrypcja. Daje także znacznie mniejszą kontrolę nad tym, co wydarzyło się w środku, co ma znaczenie, gdy trzeba rejestrować, kontrolować lub ograniczać zachowanie.

Większość systemów produkcyjnych w 2026 r. to systemy hybrydowe: modele czasu rzeczywistego obsługujące powierzchnię konwersacyjną, z wywołaniami narzędzi uruchamianymi do wolniejszych, bardziej wydajnych modeli do wszystkiego, co wymaga prawdziwej pracy.

Gdzie płynie czas

Telnyx opublikował użyteczną dekompozycję tury głosu, porównując ciasno rozmieszczony stos z typowym stosem złożonym od różnych dostawców w oddzielnych regionach:

Scena Wspólnie zlokalizowany stos Typowy zszyty stos
Sieć / transport 45 ms 150 ms
Zamiana mowy na tekst 100 ms 225 ms
Wnioskowanie LLM 225 ms 650 ms
Zamiana tekstu na mowę 80 ms 185 ms
Razem 450 ms 1210 ms

Wyróżniają się dwie rzeczy. Po pierwsze, LLM to największa pojedyncza pozycja w obu kolumnach — dlatego skierowanie prostych zwrotów konwersacyjnych do małego, szybkiego modelu i zarezerwowanie większego modelu na potrzeby prawdziwego rozumowania jest optymalizacją o największym wykorzystaniu dźwigni. Po drugie, różnica między tymi dwiema kolumnami nie polega na inteligencji. To geografia i hydraulika. Te same modele, źle ułożone, kosztują trzy czwarte sekundy.

Jeśli dodasz do tego wyrenderowaną twarz, zaplanuj kolejne 150–200 ms na generowanie awatarów i spodziewaj się, że warstwa wizualna doda własne opóźnienie dołączenia do sesji przed pojawieniem się pierwszej klatki.

Najtrudniejszym problemem jest wiedza, kiedy mówić

Zapytaj każdego, kto wysłał agenta na żywo, co zepsuło się jako pierwsze, a nie poda modelu językowego. Powiedzą, że na zmianę.

System musi odpowiedzieć na pytanie, które ludzie rozwiązują nieświadomie, a maszyny rozwiązują źle: czy ta osoba skończyła mówić, czy tylko myśli? Jeśli źle to zrobisz, agent przerwie komuś w połowie zdania. Jeśli popełnisz błąd w drugim, agent będzie siedział w ciszy, podczas gdy druga osoba będzie czekać, po czym obaj zaczną mówić jednocześnie.

Istnieją cztery szerokie podejścia, które raczej łączą się ze sobą niż konkurują.

1. Wykrywanie aktywności głosowej (VAD)

Mały model klasyfikuje każdą ramkę audio jako mowę lub brak mowy. Silero VAD jest niemal uniwersalnym ustawieniem domyślnym. VAD jest szybki, tani i odporny na stały szum tła, ale działa wyłącznie na dźwięku. Wie, że ten dźwięk ustał. Nie ma pojęcia, czy zdanie się skończyło.

2. Punkt końcowy

Logika, która obserwuje transkrypcję przesyłaną strumieniowo i decyduje, czy wypowiedź została ukończona, zwykle po osiągnięciu progu ciszy. Problem ma charakter arytmetyczny: limit czasu ciszy wynoszący 800 ms dodaje prawie pełną sekundę każdą odpowiedź, zanim rozpocznie się jakiekolwiek przetwarzanie. Ponad dziesięciominutowa rozmowa, czyli minuty martwego powietrza, za które zapłaciłeś konfiguracją.

3. Semantyczne wykrywanie skrętu

Mały klasyfikator odczytuje częściową transkrypcję i przewiduje zakończenie tury na podstawie znaczenia, a nie ciszy. „Numer mojego konta to cztery siedem…” jest oczywiście niekompletny; „To wszystko, dziękuję” oczywiście nie jest. LiveKit dostarcza Detektor skrętu z otwartymi ciężarkami dostrojony z Qwen2.5-0.5B-Instruct pod kątem wnioskowania o niskim opóźnieniu procesora, obejmujący 14 języków. Pipecat utrzymuje Smart Turn jako otwartą alternatywę. Ponieważ te modele mogą popełnić zwrot wcześniej po upływie końcowej ciszy pobierają podatek końcowy.

4. Specjalnie zaprojektowane modele mowy konwersacyjnej

Najnowsze podejście pozwala przekształcić wykrywanie w sam model rozpoznawania. Deepgram Strumień, ogólnie dostępny w formie wielojęzycznej od kwietnia 2026 r., podaje, że mediana wykrycia końca tury wynosi 260 ms z konfigurowalnym progiem umożliwiającym wymianę opóźnienia z dokładnością, i zapewnia zmniejszenie opóźnienia odpowiedzi agenta o 200–600 ms w porównaniu z konwencjonalnym STT-plus-VAD. Tavus przyjmuje podobne podejście w swoim modelu przepływu konwersacji Sparrow, wykorzystując jednocześnie wskazówki leksykalne, semantyczne, prozodyczne i akustyczne.

Podejście Używany sygnał Dodano opóźnienie Charakterystyczna porażka
Tylko VAD Energia dźwięku Równy progowi ciszy Odcina każdego, kto zatrzyma się, aby pomyśleć
Punkt końcowy STT Strumień transkrypcji Umiarkowane To samo, trochę mądrzejszy
Model semantyczny Częściowe znaczenie transkrypcji Niski; może uprzedzić ciszę Fałszywe zatwierdzenia niekompletnych zdań
Rozmowy STT Audio + leksykalne + prozodyczne Najniższy Mniej kontroli; nowszy, mniej przetestowany w boju

Przerywanie jest polityką, a nie ustawieniem

Wtrącenie — umożliwiające użytkownikowi przerwanie agenta w połowie zdania — jest zwykle prezentowane jako pojedyncza wartość logiczna. Jest to błąd i jest to najczęstsza przyczyna, dla której agent „czuje się źle”, choć nikt nie jest w stanie powiedzieć dlaczego.

Problem polega na tym, że nie wszystkie przychodzące dźwięki oznaczają to samo. Przydatna taksonomia, zaadaptowana z elementu runbook przerwań Hamming, dzieli go na sześć klas:

Wejście Przykład Prawidłowe zachowanie
Prawdziwa korekta „Nie, piątek” Zatrzymaj się natychmiast, zaakceptuj nową turę, zachowaj kontekst zadania
Kanał tylny „mm-hm”, „tak”, „prawda” Mów dalej; nie traktuj jako nowego zamiaru
Przypadkowy hałas Klawiatura, HVAC, sąsiednia rozmowa Zignoruj i wznów od bezpiecznego punktu
Długa pauza elementu W połowie numeru konta Poczekaj; nie reaguj wcześniej
Limit czasu ciszy Osoba odeszła Powtórz raz, a następnie zresetuj
Eskalacja bezpieczeństwa „Chcę kogoś” Zatrzymaj się i natychmiast oddaj

Porażką, która najszybciej podważa zaufanie, jest fałszywy przystanek: agent, który przerywa w połowie zdania, ponieważ ktoś powiedział „OK”, a następnie traktuje „OK” jako nowe pytanie. Można to odczytać jako agenta, który nie słucha. W hałaśliwym otoczeniu, gdzie VAD stale emituje dźwięk otoczenia, naiwne ustawienie barki spowoduje wygenerowanie tego dziesiątki razy na godzinę.

Rozwiązaniem są zasady dotyczące poszczególnych typów wiadomości. Powitanie powinno zostać przerwane po krótkim okresie karencji. Menu powinno akceptować DTMF i mowę. Przechwytywanie jednostki powinno być cierpliwe. Nie należy w ogóle przerywać ujawnienia informacji prawnych ani oświadczenia o zgodzie. Wypełniacz typu „pozwól mi to sprawdzić” powinien umożliwiać natychmiastowe anulowanie.

Gdzie właściwie pasują agenci na żywo

Uczciwa wersja tej sekcji obejmuje miejsca, w których format nie zarabia na swoim koszcie.

Ustawienie Dlaczego format pasuje Co właściwie psuje
Targi i konferencje Nowość utrudnia ruch pieszy; agent kwalifikuje się, gdy personel jest zajęty; oddaje to, o co ludzie faktycznie pytają Hałas otoczenia w pobliżu 80 dB; zawodne Wi-Fi w miejscu; goście przybywają w grupach, a nie pojedynczo
Trening i próba Nieograniczone powtórzenia trudnej rozmowy bez kosztów społecznych; konsekwentna punktacja; odprawa jest miejscem, w którym odbywa się nauka Realizm scenariuszy jest trudny; uczniowie grają w symulator; jakość informacji zwrotnej jest ważniejsza niż symulacja
Kioski publiczne (muzea, transport publiczny, obiekty użyteczności publicznej) Domyślnie wielojęzyczny; nigdy zmęczony; rzeczywisty wzrost dostępności dla osób, które nie mogą korzystać z ekranu dotykowego Oczekiwania dotyczące prywatności w przestrzeni publicznej; wandalizm i nadużycia; długi czas pracy bez nadzoru; musi z wdziękiem ulegać degradacji w trybie offline
Recepcja i konsjerż Obejmuje godziny poza godzinami pracy i przepełnienia; doskonale radzi sobie z tymi samymi piętnastoma pytaniami Wszystko interesujące jest wyjątkiem; ścieżka eskalacji to cały produkt
Linie telefoniczne Nieskończona współbieżność; brak warstwy wizualnej do renderowania; dojrzały, dobrze rozumiany transport Ekspozycja regulacyjna; opóźnienie nośnej; Rozmówcy rozłączają się szybciej niż odchodzą
Piętro detaliczne Wyszukiwanie i porównywanie produktów na półce Hałas, tłok i silna tendencja do preferowania człowieka znajdującego się trzy metry dalej
Gdzie to nie pasuje Wszystko, co wymaga ciągłego czytania, precyzyjnego wprowadzania danych, złożonego przeglądu dokumentów lub decyzji, nad którą odwiedzający musi pomyśleć dłużej niż minutę. Rozmowa na żywo to zły interfejs do wszystkiego, co nie jest konwersacyjne.
Osoba ćwicząca rozmowę z agentem AI na żywo na ekranie ściennym w cichym pomieszczeniu do ćwiczeń

Szkolenie to środowisko, w którym żywi agenci najmniej skupiają się na nowościach, a najbardziej na powtarzaniu. Obraz wygenerowany za pomocą obrazu GPT 2.

Zamówienie typu drive-thru jest użytecznym punktem odniesienia dla ograniczeń opisanych w tym artykule: hałasu silnika, kolejki za samochodem i osoby dzwoniącej, która poprawi się w połowie zdania. Demo opublikowane przez Deepgram.

Wzorzec oddzielający dobre wdrożenia od wersji demonstracyjnych

We wszystkich powyższych ustawieniach wdrożenia generujące wyniki mają jedną wspólną właściwość: agenta coś robi podczas rozmowy, a nie tylko odpowiadając na pytania.

Agent na stoisku, który odpowiada na pytanie „do czego służy Twój produkt”, to mówiąca broszura. Agent stoiska, który pobiera adres URL firmy odwiedzającego i w ciągu sześćdziesięciu sekund generuje na ekranie jednostronicową analizę, zmienił transakcję: odwiedzający ma teraz powód, aby podać Ci adres e-mail, a także powód, aby później opisać doświadczenie współpracownikowi. Przydaje się agent szkoleniowy, który przeprowadza odgrywanie ról; agent szkoleniowy, który kończy się punktowanym, konkretnym podsumowaniem, jest produktem.

Rozmowa jest interfejsem. Artefakt jest wartością.

Pokój jest najtrudniejszą częścią

Jest to sekcja, która jest pomijana i to ona określa, czy dana rzecz działa w danym dniu.

Płaski układ sprzętu do instalacji agenta AI na żywo: panel dotykowy, mikrofon kierunkowy, zestaw głośnomówiący USB, kamera internetowa, komórkowy hotspot, kabel Ethernet i wspornik VESA

Lista części decydująca o tym, czy oprogramowanie będzie działać danego dnia. Zestaw głośnomówiący ze sprzętową eliminacją echa to najtańsze rozwiązanie wiążące się z największym ryzykiem. Obraz wygenerowany za pomocą obrazu GPT 2.

Hałas. W hali wystawowej działa na tyle głośno, że wykrywanie głosu przez otwarty mikrofon częściej zawodzi niż się udaje. Praktycznymi rozwiązaniami są mikrofon kierunkowy lub kształtujący wiązkę, afordancja typu „naciśnij i mów” lub „dotknij, aby porozmawiać” oraz zastępczy widoczny tekst. Konferencyjny zestaw głośnomówiący USB ze sprzętową eliminacją echa akustycznego to najtańsze rozwiązanie wiążące się z największym ryzykiem, ponieważ bez niego głośniki ekranu przekazują sygnał zwrotny do mikrofonu, a agent przerywa.

Łączność. Wi-Fi w miejscu to rzut monetą. Stwórz komórkowy hotspot, podłącz do niego maszynę przez Ethernet i buforuj zestaw gotowych odpowiedzi, aby pętla przyciągania i podstawowe odpowiedzi przetrwały utratę połączenia.

Higiena sesji. Twardy reset między odwiedzającymi nie jest opcjonalny. Nikt nie powinien widzieć na ekranie adresu e-mail, nazwy firmy ani rozmowy poprzedniej osoby. Utwórz limit czasu, który przywróci wyświetlacz do trybu przyciągania, gdy ktoś odejdzie w połowie zdania – co będzie się zdarzać stale.

Limity sesji. Sesje w czasie rzeczywistym mają ograniczony czas trwania i ulegają skróceniu. Zbuduj ponowne połączenie, które będzie zawierało krótkie podsumowanie nowej sesji, w przeciwnym razie agent zapomni czyjeś imię w trakcie rozmowy przed tłumem.

Poręcze. Agent na żywo nigdy nie powinien podawać niestandardowych cen, obiecywać harmonogramu ani składać zobowiązań. Wszystko, co ma kształt umowy, trafia w ręce człowieka. Warto to wymusić w wierszu poleceń systemu i w sprawdzeniu pogeneracyjnym, ponieważ awaria jest publiczna i możliwa do cytowania.

Czy powinien cię zobaczyć?

Kamery są najbardziej kuszącym i najniebezpieczniejszym dodatkiem do agenta na żywo.

Naprawdę przydatne aplikacje są wąskie: wykrywają, że ktoś podszedł i stoi twarzą do ekranu, aby system mógł się obudzić; liczenie, ile osób jest obecnych, aby można było się dostosować; zauważyć, że ktoś odwrócił wzrok, więc może się zatrzymać; i czytanie czegoś, co dana osoba celowo trzyma – plakietki, wizytówki, telefonu wyświetlającego jej stronę internetową. Ten ostatni jest najsilniejszy, ponieważ jest jawnie opt-in. „Przyłóż swoją plakietkę do aparatu” to naturalna instrukcja, dzięki której otrzymasz nazwę firmy bez konieczności wpisywania.

Nie powinien robić dwóch rzeczy: komentować czyjś wygląd i rozpoznawać osobę, która odwiedziła ją wcześniej. Obydwa odczytano jako trik imprezowy przez dwie sekundy, a następnie jako inwigilację.

Istnieje również pułapka kosztów, która wpada w opóźnienia zespołów. Multimodalne interfejsy API w czasie rzeczywistym rozliczają się za turę na podstawie skumulowanego kontekstu sesji. Dzięki kamerze umożliwiającej ciągłe przesyłanie strumieniowe każda wysłana już klatka jest umieszczana w tym kontekście i przy każdej kolejnej turze jest ponownie naliczana opłata. Ośmiogodzinna sesja z otwartą kamerą daje fakturę, która jest naprawdę niepokojąca. Architektoniczną odpowiedzią jest lokalne wykrywanie obecności — model na urządzeniu, taki jak MediaPipe pozować jako punkt orientacyjny lub punkt orientacyjny twarzy działa natychmiastowo w trybie offline — a płatną sesję w czasie rzeczywistym otwieraj tylko wtedy, gdy dana osoba jest faktycznie zaangażowana. Wysyłaj ramki oszczędnie, może jedną na sekundę, gdy są aktywne lub tylko na żądanie, i mocno zamykaj sesję, gdy wychodzą. Jako bonus, tryb przyciągania nic nie kosztuje i nie wymaga sieci.

Ujawnienie, zgoda i nowe zasady

Od 2 sierpnia 2026 r. obowiązuje art. 50 unijnej ustawy o sztucznej inteligencji. Wymaga to, aby systemy sztucznej inteligencji wchodzące w bezpośrednią interakcję z osobami fizycznymi były zaprojektowane w taki sposób, aby ludzie byli informowani o interakcji z sztuczną inteligencją oraz aby treści syntetyczne lub zmanipulowane były ujawniane w sposób wyraźny i przy pierwszym kontakcie. Organizacja nieposiadająca w ogóle sztucznej inteligencji wysokiego ryzyka może nadal spełniać te obowiązki, po prostu uruchamiając agenta konwersacyjnego skierowanego do klienta lub syntetycznego prezentera. Komisja Europejska opublikowała wytyczne o sposobie stosowania obowiązków.

W przypadku linii telefonicznych w Stanach Zjednoczonych stanowisko zostało ustalone od czasu porozumienia FCC Orzeczenie deklaratywne z lutego 2024 r, które potwierdziło, że głosy wygenerowane przez sztuczną inteligencję liczą się jako „sztuczny lub nagrany głos” w ramach TCPA. Wiąże się to z wymogami dotyczącymi zgody, identyfikacji, ujawnienia i rezygnacji, a także ustawowymi odszkodowaniami, które zaczynają się od 500 dolarów za każde naruszenie.

Poza płaszczyzną prawną praktyki stosowane w przestrzeni fizycznej są nieestetyczne:

  • Wskaż, że jest to sztuczna inteligencja w pierwszym zdaniu, a nie w stopce.
  • Umieść widoczne oznakowanie na dowolnej instalacji wyposażonej w kamerę lub mikrofon.
  • Przetwarzaj klatki z kamer i odrzucaj je; nie nalegaj i bądź w stanie powiedzieć to szczerze, gdy ktoś cię o to zapyta.
  • Użyj wskaźnika sprzętowego — fizycznej migawki lub diody LED, która świeci tylko podczas aktywnej sesji.
  • Sprawdź umowę lokalu. Niektóre umowy konferencyjne ograniczają nagrywanie na parkiecie, a stwierdzenie „tylko przesyłamy strumieniowo, a nie nagrywamy” to rozróżnienie, którego organizator może nie zaakceptować.
  • Jeśli rejestrujesz twarze lub odciski głosu w jurysdykcji, w której obowiązuje ustawa o ochronie prywatności biometrycznej, najpierw uzyskaj pisemną zgodę. W szczególności BIPA stanu Illinois wiąże się z prywatnym prawem do wniesienia skargi.

Co mierzyć

Większość wdrożeń agentów na żywo jest oceniana na podstawie wibracji. Oprzyrządowanie, które faktycznie coś ci mówi:

Metryczne Dlaczego to ma znaczenie
Czas do pierwszego bajtu audio, p50 i s. 95 Mediana określa, jak wygląda Twoje demo; p95 jest tym, co czują Twoi użytkownicy. Opóźnienie ogona ma miejsce wtedy, gdy ludzie się rozstają.
Wskaźnik fałszywych przerw Hałas lub kanały tylne mylone z prawdziwym zakrętem. Główny czynnik powodujący „wydaje się zepsuty”.
Wskaźnik nieodebranych przerw Prawdziwe poprawki zignorowane. Powoduje, że ludzie się powtarzają i poddają.
Obroty na sesję Sesje jednoobrotowe oznaczają, że otwarcie nie powiodło się. Sesje piętnastoturowe mogą oznaczać, że agent niczego nie rozwiązuje.
Punkt opuszczenia Gdzie w strumieniu ludzie odchodzą lub się rozłączają. Zwykle jeden konkretny monit.
Szybkość i jakość eskalacji Przekazanie jest sukcesem, a nie porażką – pod warunkiem, że przekazanie ma kontekst.
Dziennik pytań bez odpowiedzi Najcenniejszy wynik każdego wdrożenia publicznego. Są to bezpłatne badania pozycjonowania.

Rejestruj obie strony dźwięku na jednym zegarze. Bez wspólnego zegara nie można zmierzyć rzeczywistego opóźnienia, a jedynie to, co raportuje o sobie własny stos — a te dwie liczby mogą różnić się o pełną sekundę.

Lista kontrolna przed lotem

Przed jakimkolwiek wdrożeniem na żywo, mniej więcej w kolejności, w której coś idzie nie tak:

  1. Zmierz opóźnienie skrętu p50 i p95 na podstawie nagranego dźwięku, a nie własnych dzienników.
  2. Przetestuj z prawdziwym hałasem tła przy rzeczywistej głośności pomieszczenia.
  3. Przetestuj wtrącanie się oddzielnie dla wszystkich sześciu klas przerwań.
  4. Potwierdź całkowite zresetowanie sesji między użytkownikami, w tym na ekranie.
  5. Upewnij się, że upłynie limit czasu w trybie przyciągania, gdy ktoś odejdzie w połowie zdania.
  6. Pociągnij za kabel sieciowy i potwierdź, że awaria ma charakter łagodny.
  7. Potwierdź, że ponowne połączenie przenosi kontekst po przerwanej sesji.
  8. Spróbuj nakłonić agenta do podania ceny, obiecania daty lub powiedzenia czegoś godnego cytatu.
  9. Sprawdź, czy ujawnienie sztucznej inteligencji ma miejsce podczas pierwszej wymiany.
  10. Sprawdź, czy oznakowanie, wskaźniki kamer i historia przechowywania danych odpowiadają temu, co faktycznie robisz.
  11. Wykonaj wycofanie: statyczny ekran, kod QR i człowiek.

Konkluzja

Agenci na żywo nie są chatbotami z podłączonym mikrofonem. Interfejs czatu ukrywa opóźnienia, niejednoznaczności i awarie za polem tekstowym, na które ludzie chcą czekać. Usuń to, a każda słabość w stosie stanie się wydarzeniem towarzyskim rozgrywającym się przed nieznajomym.

Zespoły, którym się to uda, optymalizują nudne rzeczy: model przechwytywania, mikrofon, sieć, resetowanie, przekazywanie. Ograniczają zakres obowiązków agenta i pozwalają na wcześniejsze wykonanie zadania. Dbają o to, aby dana osoba wyszła z czymś. I traktują 200-milisekundową przerwę w konwersacji, w której każdy człowiek jest szkolony od urodzenia, jako rzeczywistą specyfikację, a nie jako coś, co warto mieć.

Wszystko inne to demo.

Eksploruj dalej

Powiązane artykuły

Cyfrowy portret człowieka, na wpół fotorealistyczny, na wpół rozpływający się w świetlistej chmurze punktów
Sztuczna inteligencja w czasie rzeczywistym

Porównanie modeli awatarów AI działających w czasie rzeczywistym: opóźnienie, architektura i koszt

Architektura, definicje opóźnień, transport, ceny i powtarzalny sposób ich samodzielnej oceny. Każdy dostawca awatarów działających w czasie rzeczywistym publikuje liczbę opóźnień. Anam mówi, że rozmowa trwa krócej niż 1 sekundę i generowanie po stronie serwera trwa około 150 ms. Tavus mówi, że sub-600… Czytaj więcej »

Przeczytaj artykuł
GPT-4o Mini: Wszystko, co musisz wiedzieć
Sztuczna inteligencja

GPT-4o Mini: Wszystko, co musisz wiedzieć

Wprowadzenie do GPT-4o Mini 18 lipca 2024 r. firma OpenAI zaprezentowała GPT4o Mini, kompaktową i ekonomiczną wersję swojego solidnego modelu GPT-4o. Ten nowy model sztucznej inteligencji został zaprojektowany w celu zapewnienia większej szybkości i przystępności cenowej, skierowanej zarówno do programistów, jak i konsumentów, którzy potrzebują wydajnych i ekonomicznych rozwiązań AI. GPT4o Mini ma na celu… Read more »

Przeczytaj artykuł

Twój pierwszy asystent jest w zasięgu kilku minut

Wykorzystaj swoją wiedzę biznesową w praktyce.

Zacznij od darmowego konta Cody. Dodaj swoją treść, zbuduj asystenta i udostępnij pierwszą przydatną odpowiedź już dziś.