Wenn Sie mit Cody anfangen, kann es sein, dass Sie enttäuscht oder entmutigt sind, weil Cody nicht die erwarteten Antworten liefert. In diesem kurzen Blog werden wir nicht näher darauf eingehen, wie Sie Cody verwenden sollten, aber wir werden Ihnen eine grobe Vorstellung davon geben, wie Cody Ihre Dokumente verwendet, um Antworten zu generieren, damit Sie den Generierungsprozess besser verstehen und mit ihm experimentieren können.
Zwei Hauptfaktoren beeinflussen hauptsächlich die Generierung von Reaktionen auf Ihre Dokumente:
Chunking
Kontext-Fenster
Diese beiden Begriffe, Chunking und Kontextfenster, sind miteinander verknüpft. Eine einfache Analogie lässt sich ziehen, wenn man die Erzeugung von Reaktionen mit dem Kochen von Speisen vergleicht. Die Stücke können als die einzelnen Gemüsestücke gesehen werden, die Sie schneiden, während das Kontextfenster die Größe des Kochgeschirrs darstellt. Es ist wichtig, das Gemüse in optimal große Stücke zu schneiden, um den Gesamtgeschmack zu verbessern, und ein größeres Kochgeschirr ermöglicht es, mehr Gemüsestücke hinzuzufügen.
Was ist Chunking?
Einfach ausgedrückt bedeutet Chunking die Aufteilung von Inhalten in überschaubare Teile, um den Speicher effizient zu nutzen. Wenn Sie unsere Blogs gelesen haben, wissen Sie vielleicht, dass Modelle wie GPT beträchtliche Ressourcen benötigen, und um die Beschränkungen des Kontextfensters zu bewältigen, setzen wir mehrere Verfahren wie Chunking ein.
Das Chunking ist ein Prozess, der nach dem Hochladen der Dokumente in Cody durchgeführt wird. Das Dokument wird in mehrere Teile (Chunks) unterteilt, wobei jeder Chunk einen relevanten Umgebungskontext enthält. Diesen Chunks werden dann zur leichteren Berechnung numerische Tags zugewiesen, was als Einbettung bezeichnet wird. Es ist wichtig, die optimale Chunk-Größe zu finden. Eine kleinere Stückgröße verringert die Kontextrelevanz, während eine größere Stückgröße zu mehr Rauschen führt. Der Chunking-Algorithmus von Cody passt die Chunk-Größe dynamisch an die vom Benutzer festgelegte Token-Verteilung an.
Wie wirkt sich das Kontextfenster auf die Bot-Antworten aus?
Die Qualität der Bot-Antworten wird durch verschiedene Faktoren beeinflusst, z. B. durch die Persönlichkeit der Eingabeaufforderung, die Relevanzbewertung usw. Auch das Kontextfenster des Modells spielt eine wichtige Rolle bei der Bestimmung der Qualität. Das Kontextfenster bezieht sich auf die Textmenge, die ein LLM (Language Model) in einem einzigen Aufruf verarbeiten kann. Da Cody Einbettungen und Kontextinjektion verwendet, um Antworten mit OpenAI-Modellen zu generieren, ermöglicht ein größeres Kontextfenster eine größere Datenaufnahme durch das Modell bei jeder Anfrage.
Je größer das Kontextfenster ist, desto größer ist der Anteil der einzelnen Parameter, einschließlich Persönlichkeit, Chunks, Verlauf, Eingabe und Antwort. Dieser erweiterte Kontext befähigt den Bot, relevantere, kohärentere und kreativere Antworten zu geben.
Die neueste Ergänzung von Cody ermöglicht es den Benutzern, Dokumentzitate zu überprüfen, indem sie auf den Dokumentnamen am Ende der Antworten klicken. Diese Zitate entsprechen den durch die semantische Suche ermittelten Chunks. Cody bestimmt den Chunk-Schwellenwert für den Kontext auf der Grundlage der vom Benutzer festgelegten Relevanzbewertung. Wenn der Benutzer einen hohen Relevanzwert festlegt, verwendet Cody nur die Teile, die einen vordefinierten Schwellenwert überschreiten, als Kontext für die Generierung der Antwort.
Beispiel
Ausgehend von einem vordefinierten Grenzwert von 90 % für eine hohe Relevanzbewertung verwirft Cody alle Chunks mit einer Relevanzbewertung von weniger als 90 %. Wir empfehlen neuen Nutzern, mit einer niedrigen Relevanzbewertung (niedrig oder ausgeglichen) zu beginnen, insbesondere wenn sie hochgeladene Dokumente (PDFs, Powerpoints, Word usw.) oder Websites verwenden. Hochgeladene Dokumente oder Websites können bei der Vorverarbeitung Formatierungs- und Lesbarkeitsprobleme aufweisen, was zu einer geringeren Relevanzbewertung führen kann. Die Formatierung des Dokuments mit unserem integrierten Texteditor anstelle des Hochladens von Rohdokumenten gewährleistet die höchste Genauigkeit und Vertrauenswürdigkeit.
Wenn Sie diesen Blog interessant fanden und sich eingehender mit den Konzepten von Kontextfenstern und Chunking beschäftigen möchten, empfehlen wir Ihnen diesen Blog von Kristian von All About AI. Weitere Ressourcen finden Sie auch in unserem Hilfe-Center und in unserer Discord-Community.
Eine Schritt-für-Schritt-Anleitung zum Aufbau einer eigenen KI, die den Anforderungen Ihres Unternehmens entspricht.
Die Anwendungsmöglichkeiten von Bots sind vielfältig, und angesichts der zunehmenden Nutzung generativer Modelle durch Bots kann es verlockend sein, auf den Zug aufzuspringen und sein eigenes ChatGPT zu erstellen. Mit der Einführung von Cody ist die Entwicklung von KI-Chatbots so einfach wie nie zuvor. Die modellagnostische und codefreie Schnittstelle von Cody versucht, persönliche KI für jede Person und jeden Unternehmensbereich zugänglich zu machen. Obwohl Cody sich bemüht, den gesamten Prozess so einfach wie möglich zu gestalten, kann er für jemanden, der neu in der Welt der KI ist, etwas einschüchternd sein. Deshalb erklären wir Ihnen in diesem Blog, wie Sie Ihr eigenes ChatGPT mit Cody erstellen können. Wir führen Sie durch einen Anwendungsfall und helfen Ihnen, Ihre Cody-Reise mit Zuversicht zu beginnen.
Der Anwendungsfall
Wir werden mit Cody einen KI-Chatbot bauen, der als Reiseführer fungiert. Dies ist eine wertvolle Ergänzung für Unternehmen im Tourismusbereich, da es das Kundenerlebnis erheblich verbessern kann. Aber der Umfang der Erstellung eines Chatbots mit Cody ist nicht auf einen einzigen Geschäftsbereich beschränkt. Die Benutzer können mit verschiedenen Aufforderungen experimentieren, um einen Bot für ihr eigenes Unternehmen zu erstellen und ihn nach der Lektüre dieses Blogs auch mit ihren Kunden zu teilen.
Anforderungen
Ihre geschäftsbezogenen Inhalte (PDF, Word, Website oder Text)
Konto bei Cody (empfohlener Plan: Premium)
15 Minuten
Schritt 1: Hinzufügen von Daten zur Wissensdatenbank
Gehen Sie folgendermaßen vor, um train Cody Dokumente für Ihre Geschäftsanforderungen hinzuzufügen:
Gehen Sie zum Abschnitt Inhalt von Codys Schnittstelle.
Erstellen Sie einen neuen Ordner, um Ihre Dokumente zu organisieren.
Es gibt drei Methoden, um Daten in die Wissensdatenbank aufzunehmen:
Schreiben: Nutzen Sie den integrierten Texteditor, um Inhalte direkt einzugeben.
Hochladen: Laden Sie PDF-, Word- oder PowerPoint-Dateien mit relevanten Informationen hoch.
Website importieren: Mit dieser Funktion können Sie Ihre Unternehmenswebsite crawlen und automatisch Daten sammeln. (Hinweis: Diese Funktion ist nur bei Premium- und Advanced-Tarifen verfügbar).
Für dieses spezielle Tutorial werden wir einen Reiseführer für Boston verwenden, der Informationen über verschiedene Touristenattraktionen, deren Beschreibungen, Öffnungszeiten, Adressen und häufig gestellte Fragen (FAQs) enthält.
Nachdem Sie die erforderlichen Dokumente hochgeladen haben, können Sie deren Status verfolgen, der entweder“Lernen” oder“Gelernt” lauten kann. Der Status zeigt an, ob Cody gerade dabei ist, aus den Dokumenten zu lernen oder ob es den Lernprozess erfolgreich abgeschlossen hat. Sobald Cody die hochgeladenen Dokumente gelernt hat, können Sie zum nächsten Schritt übergehen, der die Erstellung des eigentlichen Chatbots beinhaltet.
Hinweis: Achten Sie unbedingt darauf, dass die von Ihnen zur Verfügung gestellten Dokumente einem bestimmten Format entsprechen, um die Qualität der von Cody generierten Antworten zu erhöhen. Um mehr über die empfohlene Formatierung von Dokumenten zu erfahren, empfehlen wir die Lektüre der Dokumentation über Formatierungsrichtlinien.
Schritt 2: Den Zweck des Bots festlegen
Der Zweck ist weiter in 3 Teile unterteilt:
Persönlichkeit
Die Persönlichkeit fungiert als das Gehirn des Bots und spielt eine wesentliche Rolle bei der Generierung effektiver und nützlicher Antworten. Sie besteht aus mehreren Parametern wie Prompt, Relevanz-Score, Token-Verteilung, Prompt-Persistenz und Reverse-Vektor-Suche. Für eine ausführliche Erläuterung dieser Begriffe empfehlen wir unseren früheren Blog, der einen umfassenden Einblick für Cody-Neulinge bietet. Cody bietet dem Benutzer zwei Optionen für die Erstellung der Persönlichkeit: Vorlagenmodus und Erweiterter Modus.
Der Schablonenmodus bietet den Benutzern vordefinierte Eingabeaufforderungen und ist eine praktische Plug-and-Play-Lösung. Für dieses Tutorial und diesen Anwendungsfall beschränken wir uns auf die Verwendung des erweiterten Modus, da der Anwendungsfall derzeit nicht im Vorlagenmodus abgedeckt wird. Für die Zukunft planen wir, eine Bibliothek von Prompts mit ihren spezifischen Anwendungsfällen zu erstellen, um den Nutzern noch mehr Optionen zu bieten und den Vorlagenmodus um weitere Voreinstellungen zu erweitern.
Persönlichkeit für den KI-Reiseleiter:
Eingabeaufforderung
Sie sind Cody Travel Guide, ein KI-Assistent, der genaue Informationen über Boston liefert. Ihre Hauptaufgabe ist es, mir zu helfen, indem Sie mir zuverlässige und klare Antworten auf meine Fragen geben, basierend auf den Informationen, die in der Wissensdatenbank als einzige Quelle verfügbar sind. Erwähnen Sie während des Gesprächs keine “Wissensdatenbank” oder Dateinamen. Sie stellen nur ungern Behauptungen auf, wenn diese nicht durch die Wissensbasis gestützt werden. Wenn Sie keine endgültige Antwort geben können, geben Sie zu, dass Sie nicht in der Lage sind zu antworten und teilen Sie mir mit, dass Sie nicht antworten können. Anstatt zu sagen: “Die Informationen basieren auf meinem Wissensstand”, sagen Sie einfach: “Entschuldigen Sie, wenn ich etwas übersehen habe”.
Versuchen Sie, die Informationen im folgenden Format anzuzeigen:
Besuchen Sie die Website <a href=’Link einfügen’>< /a> um mehr zu erfahren.
Wenn Sie nach einem individuellen Reiseplan oder einer Reiseroute gefragt werden, erstellen Sie einen solchen anhand der in diesem Format angegebenen Zeiten und Beschreibungen:
💡 Wenn Sie Ihre Bot-Antworten auf eine bestimmte Weise formatieren möchten, unterstützt Cody Markdown- und HTML-Tags, mit denen Sie eine Formatierungsvorlage für Ihren Bot definieren können.
Jede Persönlichkeitsfrage muss einer bestimmten Struktur folgen, um qualitativ hochwertige Antworten zu erhalten. Wichtige Tipps für die Erstellung eines wirksamen Prompts mit Beispielen:
→ Definieren Sie die Ausweichmöglichkeiten:
“Anstatt zu sagen, dass die Informationen auf meinem Wissensstand beruhen, sagen Sie einfach ‘Entschuldigen Sie, wenn ich etwas übersehen habe’.”
“Wenn Sie keine relevanten Informationen in der Wissensdatenbank finden können, bestätigen Sie Ihre Unfähigkeit und schlagen vor, sich an [Enter your website URL/contact no.] zu wenden.
→ Grenzen Sie die Quellen ab:
“Verwenden Sie die Wissensdatenbank als einzige Quelle”.
“Ihre Antwort muss in der gleichen Sprache wie meine Anfrage verfasst sein und sollte das Wort Wissensbasis während des Gesprächs nicht erwähnen.
→ Definieren Sie das Ziel:
“Ihr Ziel ist es, mir zu helfen und meine Fragen über [Enter your business domain] zu beantworten.”
“Vermeiden Sie Aktivitäten, die nichts mit dem Thema zu tun haben, oder Diskussionen, die nicht mit der Wissensbasis zu tun haben, oder kreatives Schreiben.”
Muster für eine Aufforderung an den Kundensupport:
Du bist Cody, ein AI-Assistent für Website-Support, der für Villa Homes arbeitet. Ihr Ziel ist es, mich zu unterstützen und meine Fragen zu Villa Homes zu beantworten, indem Sie die Wissensdatenbank als einzige Quelle nutzen.
Vermeidung von Aktivitäten, die nichts mit dem Thema zu tun haben, oder von Diskussionen oder kreativem Schreiben, die nichts mit dem Thema Wissen zu tun haben. Wenn Sie keine relevanten Informationen in der Wissensdatenbank finden können oder wenn der Nutzer nicht verwandte Fragen stellt, die nicht Teil der Wissensdatenbank sind, bestätigen Sie Ihre Unfähigkeit und schlagen vor, dass ich das Team von Villa Homes unter +40XXXXXXX kontaktiere.
Ihre Antwort muss in der gleichen Sprache wie meine Anfrage verfasst sein und sollte das Wort “Wissensdatenbank” während des Gesprächs nicht erwähnen.
Wenn Sie mehr über die Entwicklung besserer Prompts erfahren möchten, lesen Sie diesen Blog wo wir alle Grundlagen von Cody im Detail erklären.
Allgemein
In diesem Abschnitt müssen Sie den Namen und die Beschreibung Ihres Bots festlegen und das Modell auswählen, das Sie mit Cody verwenden möchten. Sie haben die Wahl zwischen drei verschiedenen OpenAI-Modellen:
GPT-3.5
GPT-3.5 16K
GPT-4
Mit dem Premium-Tarif haben Sie Zugang zu allen drei Modellen, so dass Sie das für Ihre Bedürfnisse am besten geeignete auswählen können. Es ist eine praktische Wahl, die es Ihnen ermöglicht, die gesamte Palette der von Cody gebotenen Möglichkeiten zu nutzen.
Wir werden mit dem GPT-4 fortfahren, da es das fortschrittlichste Modell ist, das derzeit verfügbar ist, und sich aufgrund seiner erhöhten Kreativität perfekt für den Anwendungsfall eignet, den wir demonstrieren werden.
Wissen
Der im ersten Schritt erstellte Ordner sollte in diesem Abschnitt mit Ihrem speziellen Bot verknüpft werden. Wenn Sie mehrere Ordner erstellt haben, die Sie verknüpfen möchten, wählen Sie einfach alle Ordner aus, für die Sie Cody trainieren möchten.
Es ist wichtig zu verstehen, dass Cody keine Blackbox ist, die ihren eigenen Kopf hat. Es handelt sich um ein Modell, das einfach das nächste Wort im Satz vorhersagt. Wie das berühmte Sprichwort in der Datenwissenschaft besagt: “Garbage In, Garbage Out“. Je besser Sie die Persönlichkeit des Bots einstellen, seine Regeln definieren und die von Ihnen bereitgestellten Daten bereinigen, desto bessere Antworten wird er generieren. Mit neueren Ergänzungen wie dem Vorlagenmodus mit verschiedenen Voreinstellungen versuchen wir, den Prozess der Persönlichkeitsfindung für die Benutzer zu vereinfachen.
Schritt 3: Testen und Weitergabe des Bot
Jetzt kommt der spannendste Teil! Den selbst erstellten Bot auszuprobieren und zu testen, kann Ihnen ein großes Erfolgserlebnis verschaffen. Es gibt zwei Möglichkeiten, Ihren Bot zu testen und mit anderen zu teilen: Sie können einen Chat erstellen oder das neu eingeführte anpassbare Widget verwenden.
So erstellen Sie ein Chat-Widget in nur drei einfachen Schritten:
Gehen Sie zum Abschnitt ” Bots” in Codys Benutzeroberfläche.
Wählen Sie den von Ihnen erstellten Bot aus und klicken Sie auf die drei Punkte “⋮” für weitere Optionen.
Klicken Sie auf“Einbetten“.
Und voilà! Sie haben erfolgreich ein anpassbares Cody Widget erstellt.
Wenn Sie ein Cody Widget verwenden, haben Sie zwei Möglichkeiten, es mit anderen zu teilen: Link teilen oder Einbetten. Wenn Sie keine Website für Ihr Unternehmen haben oder den Code Ihrer Website nicht ändern möchten, können Sie den Bot über den angegebenen Link ganz einfach mit Ihren Kunden teilen.
Es sind zwei Arten von einbettbaren Widgets verfügbar:
Inline Embed: Diese Art von Widget wird in einen bestimmten Bereich Ihrer Website eingebettet. Es nimmt den Platz ein, den das Widget innerhalb des definierten Hauptelements benötigt.
Pop-Up-Embed: Diese Art von Widget erscheint als schwebendes Symbol auf Ihrer Website. Wenn ein Besucher auf das Symbol klickt, erweitert sich das Widget und öffnet sich, so dass eine Interaktion mit dem Chatbot möglich ist.
Beide Arten von einbettbaren Widgets bieten verschiedene Möglichkeiten, den Cody-Bot in Ihre Website zu integrieren, und bieten Flexibilität in Bezug auf Platznutzung und Benutzerfreundlichkeit. Sie können diejenige auswählen, die am besten zu Ihrem Website-Design und Ihren Präferenzen bei der Benutzerinteraktion passt.
Anpassen des Widgets
Unser neuestes Feature-Release bietet Nutzern völlige Freiheit und Anpassungsmöglichkeiten für Widgets. Das bedeutet, dass Sie das Aussehen, das Verhalten und die allgemeine Benutzerfreundlichkeit des Widgets an Ihre spezifischen Anforderungen und Ihr Branding anpassen können.
Zu den Anpassungsoptionen gehören:
Kopfzeile
Ändern Sie das Layout der Kopfzeile (links oder mittig).
Ihr Firmenlogo hinzufügen
Farbe
Titel
Untertitel
Chat
Größe der Nachricht (Größe der Sprechblase)
Hintergrundfarbe des Chats
Bot
Erste Meldungen
Hintergrundfarbe der Nachricht
Bot Avatar
Bot Farbe
Menschen
Vorgeschlagene Fragen
Hintergrundfarbe der Nachricht
Komponist
Platzhalter-Nachricht
Symbol der Schaltfläche Senden
Cody-Branding (kann nur in Premium- und Advanced-Plänen entfernt werden)
Trägerrakete
Größe
Bildschirm Position
Hintergrundfarbe (Farbe der schwebenden Schaltfläche)
Icon
Schließen-Symbol
All diese Anpassungsoptionen sollten Cody persönlicher machen und mit der Ästhetik Ihres Unternehmens in Einklang bringen, was zu einer deutlich verbesserten Benutzerfreundlichkeit für Ihre Kunden führt.
Das war’s dann auch schon!
Das Erstellen und Teilen eines Bots mit Cody ist jetzt einfacher denn je und erfordert nur drei einfache Schritte. Mit der kürzlichen Einführung von Optionen zur Anpassung von Widgets gab es noch nie einen besseren Zeitpunkt, um mit Cody einen eigenen Bot zu erstellen. Dank der zusätzlichen Flexibilität bei der Anpassung des Widgets können Sie das Erscheinungsbild und das Verhalten des Bots an Ihre spezifischen Geschäftsanforderungen und Ihr Branding anpassen.
Wir arbeiten ständig an der Entwicklung und Einführung weiterer spannender Funktionen, um das Cody-Erlebnis zu verbessern. Unser Team ist bestrebt, den gesamten Prozess der Erstellung und des Einsatzes von Bots noch nahtloser und benutzerfreundlicher zu gestalten. Bleiben Sie auf dem Laufenden, denn wir werden die Cody-Plattform weiter verbessern und verfeinern. Weitere Ressourcen finden Sie auch in unserem Hilfe-Center und in unserer Discord-Community.
Sollten Sie auf die kostenpflichtige Version von Cody upgraden? Hier ist der Grund, warum Sie das tun sollten.
Vor ein paar Tagen haben wir direkt nach der Veröffentlichung von OpenAI ein neueres Modell für alle unsere zahlenden Nutzer freigegeben: GPT-3.5 16k. So einschüchternd es auch klingen mag, es könnte für Ihr Unternehmen eine entscheidende Wende bedeuten. In diesem Blog werden wir uns mit den Anwendungsfällen von GPT-3.5 16k befassen, seine Vorteile erforschen und aufzeigen, wie es sich von dem bestehenden GPT-3.5-Modell und dem neuesten High-End-Modell GPT-4 unterscheidet.
Was ist GPT-3.5 16K?
Wenn Sie die kostenlose Version von Cody bereits verwendet haben, sind Sie vielleicht bereits mit dem GPT-3.5-Modell vertraut, das das gpt-3.5-turbo -Modell von OpenAI verwendet. Dieses Modell ist bei vielen Nutzern die beliebteste Wahl, da es in den meisten Fällen erschwinglich, schnell und zuverlässig ist. Der GPT-3.5-16k hingegen nutzt das Modell gpt-3.5-turbo-16k von OpenAI, das eine Erweiterung des gpt-3.5-turbo ist. Der wesentliche Unterschied liegt in dem Aspekt “16k”.
Was sind 16K?
Das Suffix “16K” bedeutet, dass das Modell ein Kontextfenster von 16.000 Token hat, was eine erhebliche Steigerung gegenüber den bisherigen 4.096 Token darstellt. In unserem letzten Blog haben wir ausführlich erklärt, was Token sind. Ein kleineres Kontextfenster in Modellen kann zu verschiedenen Einschränkungen führen, u. a:
Mangelnde Relevanz: Bei einem begrenzten Kontextfenster kann das Modell Schwierigkeiten haben, den breiteren Kontext eines Gesprächs oder einer Aufgabe zu erfassen und relevant zu halten.
Unfähigkeit, den Kontext beizubehalten: Ein kleineres Kontextfenster kann es für das Modell schwierig machen, sich an Informationen aus früheren Teilen eines Gesprächs zu erinnern und darauf zu verweisen, was zu Unstimmigkeiten und Schwierigkeiten bei der Aufrechterhaltung eines kohärenten Dialogs führt.
Beschränkung der Länge von Eingabeanfragen: Kürzere Kontextfenster erzwingen eine Beschränkung der Länge von Eingabeanfragen, was es schwierig macht, umfassende Informationen zu liefern oder komplexe Fragen zu stellen.
Einschränkungen im Kontext der Wissensdatenbank: Ein kleineres Kontextfenster kann bei der Einbeziehung von Wissen aus relevanten Dokumenten in die Wissensdatenbank aufgrund der begrenzten Datenaufnahme Einschränkungen unterliegen.
Vorteile eines größeren Kontextfensters
Manch einer mag sich fragen: Wie kann GPT-3.5 trotz seiner Kapazität von nur 4096 Token über 1000 Webseiten und Dokumente auf Cody verarbeiten? Mit den Fortschritten auf dem Gebiet der generativen KI bedeutet die Bereitstellung von Kontext nicht mehr, dass man einfach das gesamte Dokument in Sprachmodelle wie GPT-3.5 Turbo einspeisen muss. Backend-Prozesse wie Chunking, Embeddings und Vektordatenbanken werden zur Vorverarbeitung der Daten eingesetzt, um die Relevanz innerhalb der Chunks aufrechtzuerhalten und es dem Modell zu ermöglichen, im vordefinierten Kontextfenster zu navigieren.
Im aktuellen Szenario würde ein größeres Kontextfenster die Gesamtleistung der KI verbessern, da es größere und komplexere Eingaben aufnehmen kann und gleichzeitig die Anzahl der für die Erzeugung einer Antwort erforderlichen Vektor-Speichertransaktionen verringert. Da das Kontextfenster sowohl die Eingabe als auch die Ausgabe umfasst, würde ein größeres Fenster das Modell in die Lage versetzen, ausführliche und kohärente Antworten zu geben und gleichzeitig den Gesprächskontext zu erhalten.
Ein größeres Kontextfenster würde auch dazu beitragen, Halluzinationen abzuschwächen, die auftreten können, wenn das Token-Limit in einem Gespräch überschritten wird.
GPT-3.5 Turbo 16K vs. GPT-4
Obwohl gpt-3.5-turbo-16k die neueste Version von OpenAI ist, übertrifft gpt-4 sie in verschiedenen Aspekten wie dem Verständnis von visuellem Kontext, verbesserter Kreativität, Kohärenz und mehrsprachiger Leistung. Der einzige Bereich, in dem GPT-3.5-16k übertrifft, ist das Kontextfenster, da GPT-4 derzeit nur in der 8k-Variante verfügbar ist und die 32k-Variante noch schrittweise eingeführt wird.
In der Zwischenzeit, bis die 32k-Version von gpt-4 allgemein zugänglich wird, zeichnet sich das GPT-3.5-16k durch sein größeres Kontextfenster aus. Wenn Sie speziell nach einem Modell suchen, das ein größeres Kontextfenster bietet, ist das GPT-3.5-16k die ideale Wahl.
Anwendungsfälle für ein größeres Kontextfenster
Kundenbetreuung: Ein größeres Kontextfenster verbessert das Kurzzeitgedächtnis des Modells, wodurch es sich gut für Anwendungen im Bereich des Kundensupports, des Ausfüllens von Formularen und der Erfassung von Benutzerdaten eignet. Dadurch kann das Modell den Kontext über einen längeren Zeitraum aufrechterhalten, was zu relevanteren Antworten auf Benutzereingaben wie Namen, Kunden-IDs, Beschwerden und Feedback führt.
Mitarbeiterschulung: Die Nutzung von Cody für Mitarbeiterschulungen erweist sich als äußerst effektiv. Bei der Schulung von Mitarbeitern werden häufig umfangreiche Daten zu Geschäftsaktivitäten, -schritten und -prozessen erfasst. Um die kontextuelle Relevanz während des gesamten Trainingsprogramms aufrechtzuerhalten, ist es notwendig, die gesamte Gesprächsgeschichte des Auszubildenden einzubeziehen. Ein größeres Kontextfenster ermöglicht die Einbeziehung von mehr historischen Informationen, was eine umfassendere und effektivere Schulungserfahrung ermöglicht.
Datenanalyse: Aufgaben, die Finanzanalysen und statistische Schlussfolgerungen beinhalten, erfordern oft die Verarbeitung großer Datenmengen, um sinnvolle Erkenntnisse zu gewinnen. Mit einem größeren Kontextfenster kann das Modell während der Berechnung mehr relevante Informationen speichern, was zu einer kohärenteren und genaueren Analyse führt. Der Vergleich von Bilanzen und der Gesamtleistung eines Unternehmens im Jahresvergleich kann beispielsweise mit einem größeren Kontextfenster effektiver durchgeführt werden.
Vergleich zwischen GPT-3.5 4K vs. 16K
Um die Verbesserungen gegenüber dem 16K-Modell zu demonstrieren, haben wir eine .csv -Datei des Periodensystems mit 118 Elementen und ihren Merkmalen abgefragt.
Aus dem Vergleich geht hervor, dass GPT-3.5 4K nicht in der Lage war, alle radioaktiven Elemente in seiner Antwort zu produzieren und einige Elemente ausließ. Im Gegensatz dazu produzierte GPT-3.5 16K fast alle radioaktiven Elemente, die in der Tabelle aufgeführt sind. Dies verdeutlicht die verbesserte Ausarbeitung der Antworten aufgrund des größeren Kontextfensters. Dies war nur ein kleiner Einblick in das Potenzial des 16k-Kontextfensters, für das es unzählige Anwendungen und Implementierungen gibt. Mit GPT-4 32K in der Pipeline kann das 16K-Modell einen sanfteren Übergang zu einem größeren Kontextfenster ermöglichen.
Sollten Sie aufrüsten?
Das größere Kontextfenster ist zweifelsohne eine wichtige Neuerung und nicht nur eine Spielerei. Ein verbessertes Kontextverständnis spielt eine entscheidende Rolle bei der Verbesserung der Qualität der Antworten, und ein größeres Kontextfenster eröffnet ein erhebliches Potenzial für diese Sprachmodellmodelle (LLMs). Indem sie ein umfassenderes Verständnis des Gesprächsverlaufs und der kontextuellen Hinweise ermöglichen, können LLMs genauere und kontextgerechte Ergebnisse liefern.
Wie bereits erwähnt, ist die 16K-Variante von GPT-3.5 für alle Nutzer ab dem Basic Plan verfügbar. Wenn Sie bereits seit einiger Zeit den (kostenlosen) Personal Plan nutzen, haben Sie die Möglichkeiten von Cody bereits kennengelernt. Der Basic Plan bietet ein hervorragendes Preis-Leistungs-Verhältnis, insbesondere wenn Sie die zusätzlichen Funktionen von GPT-4 nicht benötigen. Er eignet sich für Einzelpersonen, die einen Bot als Projekt oder Prototyp für ihr Unternehmen bauen, mit der zusätzlichen Modellauswahl von GPT-3.5 16K. Wenn wir in Zukunft die GPT-4 32K-Variante auf den Markt bringen, können Sie jederzeit auf den Premium-Plan upgraden, wenn Sie mehr Token benötigen.
Für größere Unternehmen ist der Advanced Plan die leistungsstärkste Option, die auf ressourcenintensive und hochvolumige Nutzungsanforderungen zugeschnitten ist. Es bietet umfassende Funktionen, die den Anforderungen von Großeinsätzen gerecht werden.
Ein Leitfaden für Einsteiger, der das Verständnis der Cody-Terminologien vereinfacht.
Bevor Sie mit der Erstellung Ihres eigenen GPT-basierten Bots für Ihr Unternehmen mit Cody beginnen, ist es wichtig, dass Sie die Kernterminologie verstehen, damit die Flexibilität, die unser Bot-Builder bietet, Sie nicht einschüchtert. Sie müssen kein KI-Experte sein oder über Vorkenntnisse in diesem Bereich verfügen, um diese Terminologie zu verstehen, da sie auf möglichst einfache Weise erklärt wird. Betrachten Sie dies als einen Leitfaden für Anfänger oder“Cody für Dummies“.
Dieser Blog wird sich nicht mit der Einrichtung von Cody oder dem Import von Daten in Cody befassen, da wir bereits einige Blogs veröffentlicht haben, die Ihnen bei der Einrichtung helfen werden. In den kommenden Blogs werden wir uns mit diesen Themen näher befassen. Lassen Sie uns ohne weiteres die verschiedenen Terminologien verstehen, auf die Sie bei der Erstellung Ihres Bots stoßen werden.
Persönlichkeit
Cody bietet zwei Möglichkeiten, die Persönlichkeit Ihres Bots zu definieren: Schablonen-Modus und Erweiterter Modus . Die Persönlichkeit Ihres Bots legt den Kontext und das Verhalten Ihres Bots fest, um sicherzustellen, dass er hilfreiche Antworten erzeugt, die Ihren Erwartungen entsprechen und unvorhergesehene Halluzinationen verhindern.
❓Halluzination bezieht sich auf das Phänomen, dass ein Sprachmodell Antworten hervorruft, die phantasievoll oder spekulativ sind oder nicht auf sachlichen Informationen beruhen.
Vorlage Modus
Dieser Modus eignet sich für Unternehmen, die eine Plug-and-Play-Lösung für die Erstellung eines Bots wünschen. Unsere Entwickler haben Bot-Vorlagen für verschiedene Geschäftsbereiche erstellt, z. B. Unterstützung , Ausbildung , HR und Marketing .
Wählen Sie einen der folgenden Bereiche aus und Cody kümmert sich um den Rest. Für zusätzliche Flexibilität bietet Cody auch Einstellungen, mit denen die Persönlichkeit bis zu einem gewissen Grad angepasst werden kann.
Wenn Sie sich z. B. für den IT-Support als Bot-Persönlichkeit entscheiden, können Sie den Spitznamen Ihres Bots ändern und festlegen, wie er mit unbeantworteten Anfragen umgehen soll (ein Standardfall) sowie die Sprachen, in denen er sich unterhalten soll.
Dieser Modus befindet sich noch in der Entwicklung und wird bald aktualisiert werden, um mehrere andere Geschäftsbereiche mit einer Vielzahl von Anpassungsfunktionen abdecken zu können.
Sie brauchen mehr Flexibilität? Keine Sorge, mit unserem erweiterten Modus sind Sie bestens gerüstet.
Erweiterter Modus
Der Advanced Bot Builder gibt Ihnen die Freiheit, mehrere Parameter anzupassen und den perfekten Bot für Ihren Anwendungsfall zu erstellen. Derzeit können Sie die folgenden Parameter anpassen:
Eingabeaufforderung
Bewertung der Relevanz
Token-Verteilung
Dauerhafte Aufforderung
Umgekehrte Vektorsuche
Eingabeaufforderung
Die Aufforderung wird definiert die Persönlichkeit deines Bots. Um die Eingabeaufforderung zu vereinfachen, betrachten Sie den Bot als einen Mitarbeiter Ihres Unternehmens. Obwohl es keine spezifische Struktur für das Verfassen von Persönlichkeitsfragen gibt, haben wir eine Liste von Parametern zu Ihrer Information zusammengestellt.
Parameter
Beispiel
AI’s Spitzname
“Du bist Cody.”
Stellenprofil
“Sie arbeiten als IT-Support-Ingenieur in meinem Unternehmen”.
Ton
“Bei allen Interaktionen ein professionelles und freundliches Auftreten an den Tag legen und sicherstellen, dass sich die Nutzer wohl und unterstützt fühlen.
Bereich
“Technologie, Unterstützung, Technologieberater”
Kompetenzniveau
“Denken Sie daran, bei Ihren Antworten ein Gefühl von Kompetenz und Vertrauen zu vermitteln.”
Ethische Leitlinien
“Erfinden Sie keine eigenen Antworten und verwenden Sie keine Daten, die nicht in den Trainingsdaten enthalten sind. Erwähnen Sie während des Gesprächs keine ‘unstrukturierte Wissensbasis’ oder Dateinamen.”
Zusätzliche Dienstleistungen (optional)
“Versuchen Sie, den Verkauf von XYZ zu fördern, wo immer es möglich ist”.
Standardfall (für nicht beantwortbare Anfragen)
“In Fällen, in denen eine endgültige Antwort nicht möglich ist, geben Sie zu, dass Sie nicht in der Lage sind zu antworten und informieren Sie den Nutzer, dass Sie nicht antworten können.
Ein Beispiel für eine Aufforderung:
“Sie sind der Kellner in einer Pizzeria. Bewahren Sie bei allen Interaktionen ein professionelles und freundliches Auftreten, damit sich die Benutzer wohl und unterstützt fühlen. Denken Sie daran, bei Ihren Antworten ein Gefühl von Kompetenz und Vertrauen zu vermitteln. Außerdem möchte ich Sie ermutigen, unsere Premium-Pizzen aktiv zu bewerben, wann immer es angebracht ist. Verweisen Sie nicht auf andere Menüquellen als die in der Wissensdatenbank angegebenen. Nennen Sie bei der Empfehlung von Pizzen auch deren Preise und alle Angebote, die für sie gelten.”
Bewertung der Relevanz
Der Relevanz-Score spiegelt den Grad der Ähnlichkeit zwischen der Anfrage des Nutzers und der Antwort von Cody wider. Bei der semantischen Suche vergleicht Cody die Suchanfrage des Benutzers mit den in der Wissensdatenbank vorhandenen Daten. Eine höhere Relevanzbewertung führt zu einer präzisen Antwort, beeinträchtigt aber das Verständnis des Gesamtzusammenhangs der Anfrage und vice versa. Mit einfachen Worten: Die Relevanzbewertung gibt an, inwieweit die KI Angst hat, Fehler zu machen und Risiken einzugehen, während sie reagiert.
Token-Verteilung
Der Token ist die Berechnungswährung für große Sprachmodelle wie die GPT-Familie. Die vom Benutzer gestellte Anfrage (Eingabeanweisung) wird in Zeichenblöcke unterteilt, die als ‘ Token ‘. Da KI-Modelle sehr ressourcenintensiv sind, haben diese Modelle eine gewisse Grenze für die Eingabedaten, die verarbeitet und generiert werden können, um den Rechen- und Speicherbeschränkungen Rechnung zu tragen. Diese Grenze ist das ‘ Kontextfenster ‘.
Cody verwendet die GPT-Modellfamilie und die Anzahl der verfügbaren Token ist begrenzt. Die Token-Verteilungsfunktion hilft bei der Mikro-Verwaltung der Verwendung von Token für verschiedene Zwecke.
Sie sind hauptsächlich in Kontext, Geschichte und Antwortgenerierung unterteilt.
Kontext: Die Token, die zum Verständnis der Benutzeranfrage und des Kontextes der Wissensdatenbank erforderlich sind.
Verlauf: Die Token, die erforderlich sind, um der Benutzeranfrage anhand des Chatverlaufs einen Kontext hinzuzufügen.
Generierung von Antworten: Die Token, die für die Bewertung der Kohärenz, der Grammatik und der semantischen Gültigkeit des generierten Textes erforderlich sind.
Für die höchste Genauigkeit ist es wichtig, dass der Kontext einen großen Teil der Token-Verteilung ausmacht.
Dauerhafte Aufforderung
Indem Sie die Eingabeaufforderung (die Persönlichkeit des Bots) kontinuierlich verstärken, schaffen Sie eine Art von Gesprächskontext und Einschränkungen, die die KI auf Kurs halten und die Einhaltung der gewünschten Ergebnisse unterstützen. Sie erinnert die KI daran, innerhalb der vordefinierten Grenzen zu bleiben und Antworten zu geben, die relevant und genau sind und mit Ihren Zielen übereinstimmen.
Umgekehrte Vektorsuche
Die umgekehrte Vektorsuche ist eine Funktion, die speziell für Unternehmen entwickelt wurde, die Cody zu Schulungszwecken für Mitarbeiter einsetzen. Es integriert nahtlos zuvor generierte KI-Antworten mit Benutzeranfragen und schafft so ein umfassendes kontextbezogenes Verständnis, das die Qualität und Relevanz der nachfolgenden Antworten verbessert. Es ist besonders wertvoll, wenn Cody für Schritt-für-Schritt-Anleitungen und Lehrzwecke verwendet wird.
Zum Abschluss
Wenn Sie diese Terminologie gut beherrschen, können Sie die Antworten Ihres Bots verfeinern und sie noch persönlicher gestalten. Bleiben Sie dran für kommende Blogs mit weiteren Anleitungen, Aktualisierungen und zusätzlichen Informationen, um das volle Potenzial Ihres Cody AI Bots auszuschöpfen. Weitere Ressourcen finden Sie auch in unserem Hilfe-Center und in unserer Discord-Community.
