Po rozpoczęciu pracy z Cody możliwe jest, że poczujesz się rozczarowany lub zniechęcony tym, dlaczego Cody nie jest w stanie wygenerować oczekiwanych odpowiedzi. W tym krótkim blogu nie będziemy zagłębiać się w to, jak powinieneś używać Cody, ale damy ci przybliżony obraz tego, jak Cody wykorzystuje twoje dokumenty do generowania odpowiedzi, abyś mógł lepiej zrozumieć proces generowania i eksperymentować z nim.
Na generowanie odpowiedzi przy użyciu dokumentów wpływają głównie dwa czynniki:
Chunking
Okno kontekstowe
Obie te terminologie, chunking i okno kontekstowe, są ze sobą powiązane. Prostą analogią może być porównanie generowania odpowiedzi do gotowania jedzenia. Kawałki mogą być postrzegane jako pojedyncze kawałki warzyw, które kroisz, podczas gdy okno kontekstowe reprezentuje rozmiar naczynia do gotowania. Ważne jest, aby pokroić warzywa na kawałki o optymalnej wielkości, aby poprawić ogólny smak, a większe naczynie pozwala na dodanie większej ilości kawałków warzyw.
Czym jest Chunking?
Mówiąc prościej, chunking to czynność polegająca na dzieleniu treści na łatwe do zarządzania fragmenty w celu efektywnego wykorzystania pamięci. Jeśli czytałeś nasze blogi, być może wiesz, że modele takie jak GPT wymagają znacznych zasobów, a aby poradzić sobie z ograniczeniami okna kontekstowego, stosujemy wiele procesów, takich jak chunking.
Chunking to proces wykonywany po przesłaniu dokumentów do Cody. Dzieli lub segmentuje dokument na wiele fragmentów, z których każdy zawiera odpowiedni kontekst otaczający. Fragmenty te są następnie przypisywane do znaczników numerycznych w celu ułatwienia obliczeń, co jest znane jako osadzanie. Ważne jest, aby znaleźć optymalny rozmiar fragmentu. Mniejszy rozmiar fragmentu zmniejsza znaczenie kontekstu, podczas gdy większy rozmiar fragmentu wprowadza więcej szumu. Algorytm chunkingu Cody’ego dynamicznie dostosowuje rozmiar fragmentu w oparciu o dystrybucję tokenów ustawioną przez użytkownika.
Jak okno kontekstowe wpływa na odpowiedzi bota?
Na jakość odpowiedzi botów wpływają różne czynniki, takie jak osobowość, wynik trafności itp. Okno kontekstowe modelu również odgrywa znaczącą rolę w określaniu jakości. Okno kontekstowe odnosi się do ilości tekstu, który LLM (Language Model) może przetworzyć w jednym wywołaniu. Ponieważ Cody wykorzystuje osadzanie i wstrzykiwanie kontekstu do generowania odpowiedzi przy użyciu modeli OpenAI, większe okno kontekstowe pozwala na pozyskanie większej ilości danych przez model w każdym zapytaniu.
Każde zapytanie (≤ okno kontekstowe) = osobowość bota + fragmenty wiedzy + historia + dane wejściowe użytkownika + odpowiedź
Okna kontekstowe różnych modeli:
GPT-3.5: 4096 tokenów (≈3500 słów)
GPT-3.5 16K: 16000 tokenów (≈13000 słów)
GPT-4: 8000 tokenów (≈7000 słów)
Gdy okno kontekstowe jest większe, umożliwia większą część każdego parametru, w tym Osobowość, Fragmenty, Historia, Wejście i Odpowiedź. Ten rozszerzony kontekst umożliwia botowi generowanie odpowiedzi, które są bardziej trafne, spójne i kreatywne.
Najnowszy dodatek Cody’ego umożliwia użytkownikom sprawdzanie cytatów dokumentów poprzez kliknięcie nazwy dokumentu na końcu odpowiedzi. Cytaty te odpowiadają fragmentom uzyskanym w wyniku wyszukiwania semantycznego. Cody określa próg fragmentu dla kontekstu na podstawie wyniku trafności ustawionego przez użytkownika. Jeśli użytkownik ustawi wysoki wynik trafności, Cody używa tylko fragmentów, które przekraczają wstępnie zdefiniowany próg jako kontekst do generowania odpowiedzi.
Przykład
Przyjmując wstępnie zdefiniowaną wartość graniczną 90% dla wysokiego wyniku trafności, Cody odrzuca wszystkie fragmenty z wynikiem trafności niższym niż 90%. Nowym użytkownikom zalecamy rozpoczęcie od niższego wyniku trafności (niski lub zrównoważony), szczególnie w przypadku korzystania z przesłanych dokumentów (PDF, PowerPoint, Word itp.) lub stron internetowych. Przesłane dokumenty lub strony internetowe mogą napotkać problemy z formatowaniem i czytelnością podczas wstępnego przetwarzania, co może skutkować niższymi wynikami trafności. Formatowanie dokumentu za pomocą naszego wbudowanego edytora tekstu zamiast przesyłania surowych dokumentów zapewni najwyższą dokładność i wynik zaufania.
Jeśli zainteresował Cię ten blog i chcesz zagłębić się w koncepcje okna kontekstowego i chunkingu, gorąco polecamy przeczytanie tego bloga napisanego przez Kristiana z All About AI. Aby uzyskać więcej zasobów, możesz również sprawdzić nasze Centrum pomocy i dołączyć do naszej społeczności Discord.
Przewodnik krok po kroku, jak zbudować własną sztuczną inteligencję, aby spełnić potrzeby biznesowe.
Zastosowania botów są ogromne, a wraz ze wzrostem wykorzystania modeli generatywnych przez boty, kuszące może być wskoczenie na modę i zbudowanie własnego ChatGPT. Wraz z uruchomieniem Cody, tworzenie chatbotów AI nigdy wcześniej nie było łatwiejsze. Interfejs Cody jest niezależny od modelu i nie zawiera kodu, dzięki czemu osobista sztuczna inteligencja jest dostępna dla każdej osoby i domeny biznesowej, która istnieje. Jednakże, chociaż Cody stara się, aby cały proces był tak prosty, jak to tylko możliwe, może to być nieco onieśmielające dla kogoś, kto jest nowy w świecie sztucznej inteligencji. Dlatego na tym blogu przedstawiamy kompleksowe wyjaśnienie, jak zbudować własny ChatGPT przy użyciu Cody. Przeprowadzimy Cię przez przypadek użycia, pomagając Ci rozpocząć podróż Cody z pewnością siebie.
Przypadek użycia
Zbudujemy chatbota AI przy użyciu Cody, który będzie działał jako przewodnik turystyczny. Będzie to cenny dodatek dla firm związanych z turystyką, ponieważ może znacznie poprawić wrażenia klientów. Jednak zakres budowania chatbota z Cody nie ogranicza się tylko do jednej domeny biznesowej. Użytkownicy mogą eksperymentować z różnymi podpowiedziami, aby zbudować bota dostosowanego do ich własnej działalności, a także udostępnić go swoim klientom po przeczytaniu tego bloga.
Wymagania
Treści związane z firmą (PDF, Word, strona internetowa lub tekst)
Konto na Cody (zalecany plan: Premium)
15 minut
Krok 1: Dodawanie danych do bazy wiedzy
Aby dodać dokumenty do train Cody na potrzeby swojej firmy, wykonaj następujące kroki:
Przejdź do sekcji Zawartość w interfejsie Cody’ego.
Utwórz nowy folder, aby uporządkować dokumenty.
Dostępne są trzy metody dodawania danych do bazy wiedzy:
Pisanie: Wykorzystaj wbudowany edytor tekstu do bezpośredniego wprowadzania treści.
Prześlij: Prześlij pliki PDF, Word lub PowerPoint zawierające istotne informacje.
Importuj witrynę: Ta funkcja umożliwia przeszukiwanie strony internetowej firmy i automatyczne gromadzenie danych. (Uwaga: ta funkcja jest dostępna tylko w planach Premium i Advanced ).
W tym konkretnym samouczku wykorzystamy przewodnik po Bostonie, który zawiera informacje o różnych atrakcjach turystycznych, ich opisy, godziny pracy, adresy i często zadawane pytania (FAQ).
Po przesłaniu niezbędnych dokumentów będziesz mógł śledzić ich status, który może być“uczący się” lub“nauczony“. Status wskazuje, czy Cody jest obecnie w trakcie uczenia się z dokumentów lub czy pomyślnie zakończył proces uczenia się. Gdy Cody zapozna się z przesłanymi dokumentami, możesz przejść do następnego kroku, który polega na zbudowaniu rzeczywistego chatbota.
Uwaga: Bardzo ważne jest, aby dostarczane dokumenty były zgodne z określonym formatem, który poprawi jakość odpowiedzi generowanych przez Cody. Aby dowiedzieć się więcej na temat zalecanego formatowania dokumentów, zalecamy zapoznanie się z dokumentacją zawierającą wytyczne dotyczące formatowania.
Krok 2: Tworzenie celu bota
Cel jest dalej podzielony na 3 części:
Osobowość
Osobowość działa jak mózg bota i odgrywa istotną rolę w generowaniu skutecznych i użytecznych odpowiedzi. Składa się z wielu parametrów, takich jak Prompt, Relevance Score, Token Distribution, Prompt Persistence i Reverse Vector Search. Aby uzyskać szczegółowe wyjaśnienie tych terminologii, zalecamy zapoznanie się z naszym poprzednim blogiem, który zawiera kompleksowe informacje dla tych, którzy dopiero zaczynają przygodę z Cody. Cody udostępnia użytkownikowi dwie opcje tworzenia osobowości: Tryb szablonu i Tryb zaawansowany.
Tryb szablonu zapewnia użytkownikom wstępnie zdefiniowane podpowiedzi, oferując wygodne rozwiązanie typu plug-and-play. W tym samouczku i przypadku użycia ograniczymy się do korzystania z trybu zaawansowanego, ponieważ ten przypadek użycia nie jest obecnie objęty trybem szablonu. W przyszłości planujemy stworzyć bibliotekę podpowiedzi z ich konkretnymi przypadkami użycia, zapewniając użytkownikom jeszcze więcej opcji, a także dodając więcej ustawień wstępnych do trybu szablonów.
Osobowość dla przewodnika AI:
Podpowiedź
Jesteś Cody Travel Guide, asystentem AI zajmującym się dostarczaniem dokładnych informacji na temat Bostonu. Twoim głównym zadaniem jest pomaganie mi poprzez dostarczanie mi wiarygodnych i jasnych odpowiedzi na moje pytania, w oparciu o informacje dostępne w bazie wiedzy jako jedyne źródło. Powstrzymaj się od wspominania “bazy wiedzy” lub nazw plików podczas rozmowy. Niechętnie wysuwasz jakiekolwiek roszczenia, chyba że są one określone lub poparte bazą wiedzy. Jeśli ostateczna odpowiedź jest niedostępna, przyznaj się do niemożności udzielenia odpowiedzi i poinformuj mnie, że nie możesz odpowiedzieć. Zamiast mówić “informacje są oparte na mojej bazie wiedzy”, po prostu powiedz “przepraszam, jeśli coś pominąłem”.
Spróbuj użyć następującego formatu do wyświetlenia informacji:
<h2> Nazwa miejsca </h2>
<strong> Opis: </strong> <br>
<strong> Adres: </strong> <br>
<strong> Godziny pracy: </strong> <br>
<strong> Dodatkowe informacje: </strong> <br>
Odwiedź stronę <a href=’Insert link’>< /a> aby dowiedzieć się więcej.
Jeśli zostaniesz poproszony o niestandardowy plan podróży lub trasę, utwórz go, korzystając z terminów i opisów podanych w tym formacie:
Nazwa miejsca: <br>
Czas wizyty: Czas rozpoczęcia-Czas zakończenia <br>
Jeśli chcesz sformatować odpowiedzi bota w określony sposób, Cody obsługuje znaczniki Markdown i HTML, w których możesz zdefiniować szablon formatowania dla swojego bota.
Każdy monit dotyczący osobowości musi mieć określoną strukturę, aby uzyskać wysokiej jakości odpowiedzi. Ważne wskazówki dotyczące tworzenia skutecznych podpowiedzi z przykładami:
→ Zdefiniuj funkcje awaryjne:
“Zamiast mówić, że informacje są oparte na mojej bazie wiedzy, po prostu powiedz: “Przepraszam, jeśli coś pominąłem””.
“Jeśli nie możesz znaleźć odpowiednich informacji w bazie wiedzy, potwierdź swoją niezdolność i zasugeruj skontaktowanie się z [Enter your website URL/contact no.]”.
→ Ogranicz źródła:
“Korzystaj z bazy wiedzy jako jedynego źródła”.
“Twoja odpowiedź musi być w tym samym języku, co moja prośba i nie powinna zawierać słowa “baza wiedzy” podczas rozmowy”.
→ Zdefiniuj cel:
“Twoim celem jest udzielenie mi pomocy i odpowiedzi na moje pytania dotyczące [Enter your business domain]”.
“Unikaj niepowiązanych działań lub angażowania się w dyskusje niezwiązane z bazą wiedzy lub kreatywne pisanie”.
Przykładowy szablon zapytania do działu obsługi klienta:
📌 Jesteś Cody, asystentem AI ds. wsparcia strony internetowej, który pracuje dla Villa Homes. Twoim celem jest zapewnienie mi wsparcia i odpowiadanie na moje pytania dotyczące Villa Homes, korzystając z bazy wiedzy jako jedynego źródła.
Unikanie niepowiązanych działań lub angażowanie się w dyskusje niezwiązane z bazą wiedzy lub kreatywne pisanie. Jeśli nie możesz znaleźć odpowiednich informacji w bazie wiedzy lub jeśli użytkownik zadaje niezwiązane pytania, które nie są częścią bazy wiedzy, potwierdź swoją niezdolność i zasugeruj, abym skontaktował się z zespołem Villa Homes pod numerem +40XXXXXXX
Twoja odpowiedź musi być w tym samym języku, co moja prośba i nie powinna zawierać słowa “baza wiedzy” podczas rozmowy.
Aby dowiedzieć się więcej o inżynierii lepszych podpowiedzi, przeczytaj ten blog gdzie szczegółowo wyjaśniamy wszystkie podstawy Cody.
Ogólne
W tej sekcji będziesz musiał zdefiniować nazwę i opis swojego bota, a także wybrać model, którego chcesz używać z Cody. Do wyboru są trzy różne modele OpenAI:
GPT-3.5
GPT-3.5 16K
GPT-4
Plan Premium zapewnia dostęp do wszystkich trzech modeli, dając swobodę wyboru najbardziej odpowiedniego dla konkretnych potrzeb. Jest to praktyczny wybór, pozwalający wykorzystać pełen zakres możliwości oferowanych przez Cody.
Będziemy kontynuować z GPT-4, ponieważ jest to najbardziej zaawansowany model obecnie dostępny i doskonale nadaje się do przypadku użycia, który będziemy demonstrować ze względu na jego zwiększoną kreatywność.
Wiedza
Folder utworzony w pierwszym kroku powinien być połączony z konkretnym botem w tej sekcji. Jeśli utworzyłeś wiele folderów, które chcesz połączyć, po prostu wybierz wszystkie foldery, w których chcesz trenować Cody.
Ważne jest, aby zrozumieć, że Cody nie jest czarną skrzynką, która ma własny umysł. Jest to model, który po prostu przewiduje następne słowo w zdaniu. Jak mówi słynne powiedzenie w nauce o danych:“Garbage In, Garbage Out“. Im lepiej ustawisz osobowość, zdefiniujesz zasady działania bota i wyczyścisz dostarczane dane, tym lepsze odpowiedzi będzie on generował. Dzięki nowszym dodatkom, takim jak tryb szablonu z różnymi ustawieniami wstępnymi, staramy się znacznie ułatwić użytkownikom proces podpowiadania osobowości.
Krok 3: Testowanie i udostępnianie bota
Teraz nadchodzi najbardziej ekscytująca część! Wypróbowanie i przetestowanie samodzielnie stworzonego bota może dać ci ogromne poczucie osiągnięcia. Istnieją dwa sposoby na przetestowanie i udostępnienie swojego bota: utworzenie czatu lub skorzystanie z nowo uruchomionego konfigurowalnego widżetu.
Aby utworzyć widżet czatu w zaledwie trzech prostych krokach:
Przejdź do sekcji Boty w interfejsie Cody’ego.
Wybierz utworzonego bota i kliknij trzy kropki “⋮”, aby uzyskać więcej opcji.
Kliknij na“Embed“.
I voila! Pomyślnie utworzono konfigurowalny widżet Cody Widget.
Korzystając z widżetu Cody, masz dwie możliwości udostępnienia go innym: Udostępnij link lub Osadź. Jeśli nie masz strony internetowej dla swojej firmy lub jeśli nie czujesz się komfortowo z modyfikowaniem kodu strony, możesz łatwo udostępnić bota swoim klientom za pomocą podanego linku.
Dostępne są dwa rodzaje osadzanych widżetów:
Inline Embed: Ten typ widżetu zostanie osadzony w określonym miejscu na stronie internetowej. Zajmie on niezbędną przestrzeń wymaganą przez widżet w zdefiniowanym elemencie głównym.
Pop-Up Embed: Ten typ widżetu pojawia się jako pływająca ikona na stronie internetowej. Gdy odwiedzający kliknie ikonę, widżet rozszerza się i otwiera, umożliwiając interakcję z chatbotem.
Oba typy osadzalnych widżetów zapewniają różne sposoby integracji bota Cody z witryną, oferując elastyczność pod względem wykorzystania przestrzeni i doświadczenia użytkownika. Możesz wybrać ten, który najlepiej pasuje do Twojego projektu strony internetowej i preferencji dotyczących interakcji z użytkownikiem.
Dostosowywanie widżetu
Nasza najnowsza wersja funkcji oferuje użytkownikom pełną swobodę i opcje dostosowywania widżetów. Oznacza to, że możesz dostosować wygląd, zachowanie i ogólne wrażenia użytkownika widżetu do swoich konkretnych wymagań i marki.
Opcje personalizacji obejmują:
Nagłówek
Zmień układ nagłówka (lewy lub środkowy).
Dodaj logo swojej firmy
Kolor
Tytuł
Podtytuł
Czat
Rozmiar wiadomości (rozmiar dymku czatu)
Kolor tła czatu
Bot
Wiadomości początkowe
Kolor tła wiadomości
Awatar bota
Kolor bota
Człowiek
Sugerowane pytania
Kolor tła wiadomości
Kompozytor
Komunikat zastępczy
Ikona przycisku Wyślij
Branding Cody (można usunąć tylko w planach Premium i Advanced )
Launcher
Rozmiar
Pozycja ekranu
Kolor tła (kolor przycisku pływającego)
Ikona
Ikona zamknięcia
Wszystkie te opcje dostosowywania powinny sprawić, że Cody będzie bardziej spersonalizowany i zgodny z estetyką firmy, co znacznie poprawi komfort użytkowania dla klientów.
To wszystko!
Tworzenie i udostępnianie bota za pomocą Cody jest teraz łatwiejsze niż kiedykolwiek, wymagając tylko trzech prostych kroków. Wraz z niedawnym wprowadzeniem opcji dostosowywania widżetów, nigdy nie było lepszego czasu na stworzenie własnego bota przy użyciu Cody. Dodatkowa elastyczność w dostosowywaniu widżetu pozwala dostosować wygląd i zachowanie bota do konkretnych potrzeb biznesowych i marki.
Nieustannie pracujemy nad rozwojem i wprowadzaniem bardziej ekscytujących funkcji, aby poprawić wrażenia z gry w Cody. Nasz zespół dokłada wszelkich starań, aby cały proces tworzenia i wdrażania botów był jeszcze bardziej płynny i przyjazny dla użytkownika. Bądź na bieżąco z nadchodzącymi aktualizacjami, ponieważ nadal ulepszamy i udoskonalamy platformę Cody. Aby uzyskać więcej zasobów, możesz również sprawdzić nasze Centrum pomocy i dołączyć do naszej społeczności Discord.
Czy powinieneś przejść na płatną wersję Cody? Oto dlaczego warto to zrobić.
Kilka dni temu wydaliśmy nowszy model dla wszystkich naszych płatnych użytkowników zaraz po premierze OpenAI: GPT-3.5 16k. Choć może się to wydawać onieśmielające, może to być przełom dla Twojej firmy. W tym blogu zagłębimy się w przypadki użycia GPT-3.5 16k, zbadamy jego zalety i podkreślimy, w jaki sposób różni się on od istniejącego modelu GPT-3.5 i najnowszego, wyższej klasy GPT-4.
Czym jest GPT-3.5 16K?
Jeśli korzystałeś wcześniej z darmowej wersji Cody’ego, możesz być już zaznajomiony z waniliowym modelem GPT-3.5, który wykorzystuje model OpenAI gpt-3.5-turbo. Model ten jest popularnym wyborem wielu użytkowników, ponieważ oferuje przystępną cenę, szybkość i niezawodność w większości przypadków. Z drugiej strony, GPT-3.5-16k wykorzystuje model OpenAI gpt-3.5-turbo-16k, który jest rozszerzeniem modelu gpt-3.5-turbo. Znacząca różnica polega na aspekcie “16k”.
Co to jest 16K?
Przyrostek “16K” wskazuje, że model ma okno kontekstowe składające się z 16 000 tokenów, co stanowi znaczny wzrost w stosunku do istniejących 4096 tokenów. Na naszym poprzednim blogu wyjaśniliśmy szczegółowo, czym są tokeny. Mniejsze okno kontekstowe w modelach może skutkować kilkoma ograniczeniami, w tym:
Brak trafności: Przy ograniczonym oknie kontekstowym model może mieć trudności z uchwyceniem i utrzymaniem znaczenia w szerszym kontekście rozmowy lub zadania.
Niezdolność do utrzymania kontekstu: Mniejsze okno kontekstowe może utrudniać modelowi zapamiętywanie i odwoływanie się do informacji z wcześniejszych części rozmowy, prowadząc do niespójności i trudności w utrzymaniu spójnego dialogu.
Ograniczenia dotyczące długości zapytań wejściowych: Krótsze okna kontekstowe nakładają ograniczenia na długość zapytań wejściowych, utrudniając dostarczanie wyczerpujących informacji lub zadawanie złożonych pytań.
Ograniczenia kontekstu bazy wiedzy: Mniejsze okno kontekstowe może napotkać ograniczenia we włączaniu wiedzy z odpowiednich dokumentów do bazy wiedzy ze względu na limit pozyskiwania danych.
Zalety większego okna kontekstowego
W głowach kilku osób może pojawić się pytanie: w jaki sposób GPT-3.5 jest w stanie przetworzyć ponad 1000 stron internetowych i dokumentów na Cody, pomimo pojemności zaledwie 4096 tokenów? Wraz z postępem w dziedzinie generatywnej sztucznej inteligencji, zapewnienie kontekstu nie oznacza po prostu dostarczenia całego dokumentu do modeli językowych, takich jak GPT-3.5 Turbo. Procesy zaplecza, takie jak chunking, embeddings i wektorowe bazy danych, są wykorzystywane do wstępnego przetwarzania danych, zachowując trafność w ramach fragmentów i umożliwiając modelowi poruszanie się po predefiniowanym oknie kontekstowym.
W obecnym scenariuszu większe okno kontekstowe zwiększyłoby ogólną wydajność sztucznej inteligencji, dostosowując się do większych i bardziej złożonych danych wejściowych, jednocześnie zmniejszając liczbę transakcji przechowywania wektorów wymaganych do wygenerowania odpowiedzi. Ponieważ okno kontekstowe obejmuje zarówno dane wejściowe, jak i wyjściowe, większe okno umożliwiłoby modelowi udzielanie rozbudowanych i spójnych odpowiedzi przy jednoczesnym zachowaniu kontekstu konwersacji.
Większe okno kontekstowe pomogłoby również złagodzić wszelkie halucynacje, które mogą wystąpić po przekroczeniu limitu tokenów w rozmowie.
GPT-3.5 Turbo 16K v/s GPT-4
Chociaż gpt-3.5-turbo-16k jest najnowszą wersją OpenAI, gpt-4 nadal przewyższa ją w różnych aspektach, takich jak rozumienie kontekstu wizualnego, lepsza kreatywność, spójność i wielojęzyczna wydajność. Jedynym obszarem, w którym GPT-3.5-16k przoduje, jest okno kontekstowe, ponieważ GPT-4 jest obecnie dostępny w wariancie 8k, a wariant 32k jest nadal stopniowo wdrażany.
W międzyczasie, dopóki 32-kilogramowa wersja gpt-4 nie stanie się powszechnie dostępna, GPT-3.5-16k wyróżnia się większym oknem kontekstowym. Jeśli szukasz modelu oferującego szersze okno kontekstowe, GPT-3.5-16k będzie idealnym wyborem.
Przypadki użycia większego okna kontekstowego
Obsługa klienta: Większe okno kontekstowe zwiększa pamięć krótkotrwałą modelu, dzięki czemu dobrze nadaje się on do zastosowań związanych z obsługą klienta, wypełnianiem formularzy i gromadzeniem danych użytkownika. Umożliwia to modelowi utrzymywanie kontekstu przez dłuższy czas, co prowadzi do bardziej trafnych odpowiedzi na dane wejściowe użytkownika, takie jak nazwy, identyfikatory klientów, skargi i opinie.
Szkolenie pracowników: Wykorzystanie Cody do celów szkoleniowych pracowników okazuje się bardzo skuteczne. Szkolenia pracowników często obejmują obszerne dane związane z działaniami biznesowymi, krokami i procesami. Aby zachować kontekstowość w całym programie szkoleniowym, konieczne staje się uwzględnienie całej historii konwersacji uczestnika szkolenia. Większe okno kontekstowe pozwala na uwzględnienie większej ilości informacji historycznych, ułatwiając bardziej kompleksowe i efektywne szkolenie.
Analiza danych: Zadania obejmujące analizę finansową i wnioskowanie statystyczne często wymagają przetwarzania dużych ilości danych w celu uzyskania istotnych informacji. Dzięki większemu oknu kontekstowemu model może przechowywać więcej istotnych informacji podczas obliczeń, co skutkuje bardziej spójną i dokładną analizą. Na przykład porównywanie bilansów i ogólnych wyników firmy rok do roku może być wykonywane bardziej efektywnie w większym oknie kontekstowym.
Porównanie GPT-3.5 4K vs 16K
Aby zademonstrować ulepszenia w modelu 16K, zapytaliśmy o plik .csvukładu okresowego zawierający 118 pierwiastków i ich cechy.
Z porównania widać, że GPT-3.5 4K nie był w stanie wyprodukować wszystkich pierwiastków promieniotwórczych w swojej odpowiedzi i pominął niektóre pierwiastki. Z kolei GPT-3.5 16K wyprodukował prawie wszystkie pierwiastki promieniotwórcze obecne w podanej tabeli. Świadczy to o lepszym opracowaniu odpowiedzi dzięki większemu oknu kontekstowemu. To był tylko mały rzut oka na potencjał, jaki kryje w sobie okno kontekstowe 16k, z nieskończoną liczbą aplikacji i implementacji tego samego. Z GPT-4 32K w potoku, model 16K może ułatwić płynniejsze przejście do większego okna kontekstowego.
Czy powinieneś dokonać aktualizacji?
Większe okno kontekstowe jest niewątpliwie znaczącą aktualizacją, a nie tylko sztuczką. Lepsze zrozumienie kontekstu odgrywa kluczową rolę w poprawie jakości odpowiedzi, a większe okno kontekstowe uwalnia znaczny potencjał tych modeli modeli językowych (LLM). Pozwalając na szersze zrozumienie historii konwersacji i wskazówek kontekstowych, LLM może dostarczać bardziej dokładne i kontekstowo odpowiednie wyniki.
Jak wspomniano wcześniej, wariant 16K GPT-3.5 jest dostępny dla wszystkich użytkowników począwszy od planu podstawowego. Jeśli od jakiegoś czasu korzystasz z planu Personal (darmowego), to z pewnością doświadczyłeś już możliwości oferowanych przez Cody. Plan podstawowy zapewnia doskonały stosunek jakości do ceny, zwłaszcza jeśli nie potrzebujesz dodatkowych funkcji GPT-4. Jest odpowiedni dla osób, które budują bota jako projekt lub prototyp dla swojej firmy, z dodatkowym wyborem modelu GPT-3.5 16K. W przyszłości, gdy wydamy wariant GPT-4 32K, zawsze będzie można uaktualnić do planu premium, gdy pojawi się potrzeba większej liczby tokenów.
W przypadku większych przedsiębiorstw plan zaawansowany jest najpotężniejszą opcją, spełniającą wymagania dotyczące intensywnego wykorzystania zasobów i dużej ilości danych. Oferuje wszechstronne możliwości, aby sprostać wymaganiom operacji na dużą skalę.
Przewodnik dla początkujących do zrozumienia terminologii Cody w uproszczony sposób.
Zanim zaczniesz budować własnego bota opartego na GPT dla swojej firmy za pomocą Cody, ważne jest, abyś zrozumiał podstawową terminologię, aby elastyczność, jaką oferuje nasz kreator botów, nie onieśmielała Cię. Nie musisz być ekspertem w dziedzinie sztucznej inteligencji ani mieć wcześniejszej wiedzy w tej dziedzinie, aby zrozumieć te terminologie, ponieważ zostaną one wyjaśnione w najbardziej uproszczony sposób. Potraktuj to jako przewodnik dla początkujących lub“Cody For Dummies“.
Ten blog nie będzie obejmował konfiguracji Cody ani importowania danych do Cody, ponieważ opublikowaliśmy już kilka blogów, które pomogą ci w konfiguracji. W nadchodzących blogach zagłębimy się w te tematy. Bez zbędnych ceregieli przyjrzyjmy się różnym terminologiom, z którymi można się zetknąć podczas tworzenia bota.
Osobowość
Cody oferuje dwa sposoby definiowania osobowości bota: Tryb szablonu i Tryb zaawansowany . Osobowość bota określa kontekst i zachowanie bota, aby upewnić się, że generuje on pomocne odpowiedzi, które są zgodne z oczekiwaniami użytkownika i zapobiegają nieprzewidzianym halucynacjom.
Halucynacja odnosi się do zjawiska, w którym model językowy generuje odpowiedzi, które mogą być wyobrażeniowe, spekulacyjne lub nieoparte na faktycznych informacjach.
Tryb szablonu
Ten tryb jest przydatny dla tych firm, które potrzebują rozwiązania plug-and-play do tworzenia bota. Nasi deweloperzy stworzyli szablony botów dla różnych domen biznesowych, takich jak Wsparcie , Szkolenia , HR i Marketing .
Wybierz dowolną domenę z poniższych, a Cody zajmie się resztą. W celu zwiększenia elastyczności, Cody zapewnia również ustawienia, które można wykorzystać do dostosowania osobowości do pewnego stopnia.
Na przykład, jeśli zdecydujesz się na wsparcie IT jako osobowość bota, możesz zmienić pseudonim bota i zdecydować, w jaki sposób będzie on obsługiwał zapytania bez odpowiedzi (przypadek domyślny) oraz języki, w których bot ma rozmawiać.
Tryb ten jest nadal w fazie rozwoju i wkrótce zostanie zaktualizowany, aby móc obsługiwać wiele innych domen biznesowych z wieloma funkcjami dostosowywania.
Potrzebujesz większej elastyczności? Nie martw się, mamy dla Ciebie tryb zaawansowany.
Tryb zaawansowany
Advanced Bot Builder daje ci swobodę dostosowywania wielu parametrów i pozwala zbudować idealnego bota, który pasuje do twojego przypadku użycia. Obecnie można dostosować następujące parametry:
Podpowiedź
Wynik trafności
Dystrybucja tokenów
Stały monit
Odwrotne wyszukiwanie wektorów
Podpowiedź
Podpowiedź będzie zdefiniuje osobowość twojego bota. Aby uprościć proces podpowiadania, potraktuj bota jako pracownika swojej firmy. Chociaż nie ma konkretnej struktury pisania podpowiedzi dotyczących osobowości, przygotowaliśmy listę parametrów w celach informacyjnych.
Parametr
Przykład
Pseudonim AI
“Ty jesteś Cody”.
Profil zawodowy
“Pracujesz jako inżynier wsparcia IT w mojej firmie”.
Ton
“Utrzymuj profesjonalną i przyjazną postawę podczas wszystkich interakcji, zapewniając użytkownikom komfort i wsparcie”.
“Pamiętaj, aby przekazywać poczucie wiedzy i pewności siebie w swoich odpowiedziach”.
Wytyczne etyczne
“Nie wymyślaj własnych odpowiedzi ani nie używaj danych, które nie istnieją w danych szkoleniowych. Powstrzymaj się od wspominania o “nieustrukturyzowanej bazie wiedzy” lub nazwach plików podczas rozmowy”.
Usługi dodatkowe (opcjonalnie)
“Staraj się promować sprzedaż XYZ wszędzie tam, gdzie to możliwe”.
Przypadek domyślny (dla zapytań bez odpowiedzi)
“W przypadkach, gdy ostateczna odpowiedź jest niedostępna, potwierdź swoją niezdolność do udzielenia odpowiedzi i poinformuj użytkownika, że nie możesz odpowiedzieć”.
Przykładowy monit:
“Jesteś kelnerem w pizzerii. Utrzymuj profesjonalną i przyjazną postawę podczas wszystkich interakcji, zapewniając użytkownikom poczucie komfortu i wsparcia. Pamiętaj, aby przekazywać poczucie wiedzy i pewności siebie w swoich odpowiedziach. Ponadto zachęcam do aktywnego promowania naszych pizz premium w stosownych przypadkach. Nie odwołuj się do innych źródeł menu niż te podane w bazie wiedzy. Polecając pizze, podawaj ich ceny i wszelkie oferty, które mają do nich zastosowanie”.
Wynik trafności
Wynik trafności odzwierciedla stopień podobieństwa między zapytaniem użytkownika a odpowiedzią Cody. Korzystając z wyszukiwania semantycznego, Cody porównuje zapytanie użytkownika z danymi obecnymi w bazie wiedzy. Wyższy wynik trafności zaowocuje precyzyjną odpowiedzią, ale pogorszy zrozumienie ogólnego kontekstu zapytania i odwrotnie. Mówiąc prościej, wynik trafności to stopień, w jakim sztuczna inteligencja obawia się popełniania błędów i podejmowania ryzyka podczas reagowania.
Dystrybucja tokenów
Token jest walutą obliczeniową dla dużych modeli językowych, takich jak rodzina GPT. Zapytanie (instrukcja wejściowa) zadane przez użytkownika jest podzielone na bloki znaków znane jako tokeny ‘. Ponieważ modele sztucznej inteligencji są bardzo zasobochłonne, aby sprostać ograniczeniom obliczeniowym i ograniczeniom pamięci, modele te mają pewien limit danych wejściowych, które mogą być przetwarzane i generowane. Tym ograniczeniem jest ‘ okno kontekstowe ‘.
Cody korzysta z rodziny modeli GPT, a liczba dostępnych tokenów jest ograniczona. Funkcja dystrybucji tokenów pomaga w mikrozarządzaniu wykorzystaniem tokenów do różnych celów.
Są one głównie podzielone na Kontekst, Historię i Generowanie odpowiedzi.
Kontekst: Tokeny wymagane do zrozumienia zapytania użytkownika i kontekstu bazy wiedzy.
Historia: Tokeny wymagane do dodania kontekstu do zapytania użytkownika przy użyciu historii czatu.
Generowanie odpowiedzi: Tokeny wymagane do oceny spójności, gramatyki i poprawności semantycznej wygenerowanego tekstu.
Dla najwyższej dokładności ważne jest, aby kontekst stanowi dużą część dystrybucji tokenów.
Stały monit
Poprzez ciągłe wzmacnianie podpowiedzi (osobowości bota), tworzysz formę kontekstu konwersacyjnego i ograniczeń, które utrzymują sztuczną inteligencję na właściwym torze i pomagają utrzymać zgodność z pożądanymi wynikami. Działa jako przypomnienie dla sztucznej inteligencji, aby pozostała we wcześniej zdefiniowanych granicach i udzielała odpowiedzi, które są istotne, dokładne i zgodne z celami.
Odwrotne wyszukiwanie wektorów
Reverse Vector Search to funkcja zaprojektowana specjalnie dla firm, które wykorzystują Cody do celów szkoleniowych pracowników. Płynnie integruje wcześniej wygenerowane odpowiedzi AI z zapytaniami użytkowników, tworząc kompleksowe zrozumienie kontekstowe, które poprawia jakość i trafność kolejnych odpowiedzi. Jest to szczególnie cenne w przypadku korzystania z Cody’ego do przewodników krok po kroku i celów instruktażowych.
Podsumowując
Gdy dobrze zrozumiesz te terminologie, będziesz w stanie udoskonalić odpowiedzi bota i uczynić je jeszcze bardziej spersonalizowanymi. Bądź na bieżąco z nadchodzącymi blogami oferującymi dalsze wskazówki, aktualizacje i dodatkowe informacje, aby uwolnić pełny potencjał bota Cody AI. Aby uzyskać więcej zasobów, możesz również sprawdzić nasze Centrum pomocy i dołączyć do naszej społeczności Discord.
