Lorsque vous commencez à utiliser Cody, il est possible que vous soyez déçu ou découragé par l’incapacité de Cody à générer les réponses attendues. Dans ce court blog, nous n’approfondirons pas la façon dont vous devriez utiliser Cody, mais nous vous donnerons une idée de la façon dont Cody utilise vos documents pour générer des réponses afin que vous puissiez mieux comprendre le processus de génération et l’expérimenter.
Deux facteurs principaux influencent la génération de réponses à l’aide de vos documents :
Chunking
Fenêtre contextuelle
Ces deux terminologies, le découpage et la fenêtre contextuelle, sont interdépendantes. On peut faire une analogie simple en comparant la génération de réponses à la cuisson des aliments. Les morceaux peuvent être vus comme des pièces individuelles de légumes que vous coupez, tandis que la fenêtre contextuelle représente la taille de l’ustensile de cuisine. Il est important de couper les légumes en morceaux de taille optimale pour améliorer le goût général, et un ustensile plus grand permet d’ajouter plus de morceaux de légumes.
Qu’est-ce que le découpage ?
En termes simples, le découpage est l’action de diviser le contenu en morceaux gérables pour une utilisation efficace de la mémoire. Si vous avez lu nos blogs, vous savez sans doute que les modèles tels que le GPT nécessitent des ressources importantes et que, pour faire face aux contraintes de la fenêtre contextuelle, nous employons de multiples processus tels que le découpage en morceaux.
Le regroupement est un processus effectué après le téléchargement des documents dans Cody. Il divise ou segmente le document en plusieurs morceaux, chaque morceau contenant un contexte environnant pertinent. Des étiquettes numériques sont ensuite attribuées à ces morceaux pour faciliter le calcul, ce qui est connu sous le nom de “embedding” (intégration). Il est important de trouver la taille optimale des morceaux. Une taille de morceau plus petite réduit la pertinence du contexte, tandis qu’une taille de morceau plus grande introduit plus de bruit. L’algorithme de découpage de Cody ajuste dynamiquement la taille des morceaux en fonction de la distribution des jetons définie par l’utilisateur.
Comment la fenêtre contextuelle affecte-t-elle les réponses du bot ?
Différents facteurs tels que la personnalité, le score de pertinence, etc., influencent la qualité des réponses des robots. La fenêtre contextuelle du modèle joue également un rôle important dans la détermination de la qualité. La fenêtre contextuelle fait référence à la quantité de texte qu’un modèle linguistique peut traiter en un seul appel. Puisque Cody utilise les embeddings et l’injection de contexte pour générer des réponses à l’aide de modèles OpenAI, une fenêtre de contexte plus large permet au modèle d’ingérer plus de données dans chaque requête.
💡 Chaque requête (≤ fenêtre contextuelle) = Personnalité du robot + morceaux de connaissance + historique + données de l’utilisateur + réponse
Fenêtres contextuelles de différents modèles :
GPT-3.5 : 4096 tokens (≈3500 mots)
GPT-3.5 16K : 16000 tokens (≈13000 mots)
GPT-4 : 8000 tokens (≈7000 mots)
Lorsque la fenêtre contextuelle est plus grande, elle permet d’afficher une plus grande proportion de chaque paramètre, y compris la personnalité, les morceaux, l’historique, l’entrée et la réponse. Ce contexte élargi permet au bot de générer des réponses plus pertinentes, plus cohérentes et plus créatives.
Le dernier ajout de Cody permet aux utilisateurs de vérifier les citations de documents en cliquant sur le nom du document à la fin des réponses. Ces citations correspondent aux morceaux obtenus par la recherche sémantique. Cody détermine le seuil des morceaux pour le contexte sur la base du score de pertinence défini par l’utilisateur. Si l’utilisateur définit un score de pertinence élevé, Cody n’utilise que les morceaux qui dépassent un seuil prédéfini comme contexte pour générer la réponse.
Exemple
En supposant un seuil limite prédéfini de 90 % pour un score de pertinence élevé, Cody écarte tous les morceaux dont le score de pertinence est inférieur à 90 %. Nous recommandons aux nouveaux utilisateurs de commencer par un score de pertinence moins élevé (faible ou équilibré), en particulier lorsqu’ils utilisent des documents téléchargés (PDF, PowerPoint, Word, etc.) ou des sites web. Les documents ou sites web téléchargés peuvent rencontrer des problèmes de formatage et de lisibilité lors du prétraitement, ce qui peut se traduire par des scores de pertinence inférieurs. La mise en forme du document à l’aide de notre éditeur de texte intégré, au lieu de télécharger des documents bruts, garantit la plus grande précision et la meilleure cote de confiance.
Si vous avez trouvé ce blog intéressant et que vous souhaitez approfondir les concepts de fenêtre contextuelle et de découpage, nous vous recommandons vivement de lire ce blog écrit par Kristian de All About AI. Pour plus de ressources, vous pouvez également consulter notre Centre d’aide et rejoindre notre communauté Discord.
Un guide étape par étape pour construire votre propre IA afin de répondre aux besoins de votre entreprise.
Les applications des bots sont vastes, et avec l’augmentation de l’utilisation des modèles génératifs par les bots, il peut être tentant de sauter dans le train en marche et de créer son propre ChatGPT. Avec le lancement de Cody, il n’a jamais été aussi facile de créer des chatbots d’IA. L’interface agnostique et sans code de Cody tente de rendre l’IA personnelle accessible à tous les individus et à tous les domaines d’activité existants. Cependant, bien que Cody s’efforce de rendre l’ensemble du processus aussi simple que possible, il peut être un peu intimidant pour quelqu’un qui est nouveau dans le monde de l’IA. C’est pourquoi, dans ce blog, nous expliquons de bout en bout comment construire votre propre ChatGPT en utilisant Cody. Nous vous guiderons à travers un cas d’utilisation, vous aidant à démarrer votre voyage Cody en toute confiance.
Le cas d’utilisation
Nous allons construire un chatbot IA utilisant Cody qui agira comme un guide touristique. Il s’agit d’un ajout précieux pour les entreprises liées au tourisme, car il permet d’améliorer considérablement l’expérience des clients. Mais le champ d’application de la création d’un chatbot avec Cody ne se limite pas à un seul domaine d’activité. Les utilisateurs peuvent expérimenter différentes invites pour créer un robot adapté à leur activité et le partager avec leurs clients après avoir lu ce blog.
Exigences
Votre contenu professionnel (PDF, Word, site web ou texte)
Compte sur Cody (Plan recommandé : Premium)
15 minutes
Étape 1 : Ajout de données à la base de connaissances
Pour ajouter des documents à la formation Cody pour les besoins de votre entreprise, procédez comme suit :
Allez dans la section Contenu de l’interface de Cody.
Créez un nouveau dossier pour organiser vos documents.
Il existe trois méthodes pour ajouter des données à la base de connaissances :
Écrire: Utilisez l’éditeur de texte intégré pour saisir directement du contenu.
Télécharger: Téléchargez des fichiers PDF, Word ou PowerPoint contenant des informations pertinentes.
Importer un site web: Cette fonction vous permet d’explorer le site web de votre entreprise et de collecter automatiquement des données. (Remarque : cette fonction n’est disponible que pour les plans Premium et Advanced ).
Pour ce tutoriel spécifique, nous utiliserons un guide de Boston qui contient des informations sur les différentes attractions touristiques, leur description, les heures d’ouverture, les adresses et les questions fréquemment posées (FAQ).
Après avoir téléchargé les documents nécessaires, vous pourrez suivre leur statut, qui peut être“en cours d’apprentissage” ou“appris“. Le statut indique si Cody est actuellement en train d’apprendre des documents ou s’il a terminé avec succès le processus d’apprentissage. Une fois que Cody a appris les documents téléchargés, vous pouvez passer à l’étape suivante, qui consiste à construire le chatbot proprement dit.
Remarque : il est essentiel de veiller à ce que les documents que vous fournissez respectent un format spécifique qui améliore la qualité des réponses générées par Cody. Pour en savoir plus sur le formatage recommandé des documents, nous vous recommandons de lire la documentation fournie sur les directives de formatage.
Étape 2 : Créer l’objectif du robot
L’objectif est divisé en trois parties :
Personnalité
La personnalité agit comme le cerveau du robot et joue un rôle essentiel dans la génération de réponses efficaces et utiles. Il se compose de plusieurs paramètres tels que l’annonce, la note de pertinence, la distribution de jetons, la persistance de l’annonce et la recherche vectorielle inversée. Pour une explication détaillée de ces terminologies, nous vous recommandons de vous référer à notre blog précédent, qui fournit des informations complètes à ceux qui découvrent Cody. Cody offre deux options à l’utilisateur pour créer la personnalité : le mode modèle et le mode avancé. Mode avancé.
Le mode modèle fournit aux utilisateurs des invites prédéfinies, offrant une solution pratique prête à l’emploi. Pour ce tutoriel et ce cas d’utilisation, nous nous limiterons à utiliser le mode avancé car ce cas d’utilisation n’est pas couvert par le mode modèle. À l’avenir, nous prévoyons de créer une bibliothèque d’invites avec leurs cas d’utilisation spécifiques, afin d’offrir encore plus d’options aux utilisateurs et d’ajouter davantage de préréglages au mode Modèle.
Personnalité pour le guide touristique de l’IA :
Prompt
Vous êtes Cody Travel Guide, un assistant IA dont la mission est de fournir des informations précises sur Boston. Votre tâche principale est de m’aider en me fournissant des réponses fiables et claires à mes questions, sur la base des informations disponibles dans la base de connaissances, qui constitue votre seule source. Ne mentionnez pas la “base de connaissances” ou les noms de fichiers au cours de la conversation. Vous êtes réticent à faire des affirmations à moins qu’elles ne soient énoncées ou soutenues par la base de connaissances. Lorsqu’une réponse définitive n’est pas disponible, reconnaissez votre incapacité à répondre et informez-moi que vous ne pouvez pas répondre. Au lieu de dire “les informations sont basées sur ma base de connaissances”, dites simplement “Excusez-moi si j’ai oublié quelque chose”.
Essayez d’utiliser le format suivant pour afficher les informations :
Visitez le site <a href=’Insert link’>< /a> pour en savoir plus.
Si l’on vous demande un plan ou un itinéraire personnalisé, créez-en un en utilisant les horaires et la description fournis dans ce format :
Nom du lieu : <br>
Heure de la visite : Heure de début – Heure de fin <br>
Adresse : <br>
Score de pertinence : Équilibré
Distribution de jetons : 70-10-20 (Context-History-Response)
Persister Prompt : Sur
Recherche vectorielle inversée : Désactivé
💡 Si vous souhaitez formater les réponses de votre robot d’une certaine manière, Cody prend en charge les balises Markdown et HTML, où vous pouvez définir un modèle de formatage pour votre robot.
Chaque question de personnalité doit suivre une structure spécifique pour obtenir des réponses de qualité. Conseils importants pour rédiger un message efficace, avec exemples à l’appui :
→ Définir les solutions de repli:
Au lieu de dire “que l’information est basée sur ma base de connaissances”, dites simplement “Excusez-moi si j’ai oublié quelque chose”.
“Si vous ne trouvez pas d’informations pertinentes dans la base de connaissances, reconnaissez votre incapacité et suggérez de contacter [Enter your website URL/contact no.]”
→ Délimiter les sources:
“Utilisez la base de connaissances comme seule source d’information.
Votre réponse doit être rédigée dans la même langue que ma demande et ne doit pas mentionner le mot “base de connaissances” au cours de la conversation.
→ Définir l’objectif:
“Votre objectif est de me fournir une assistance et de répondre à mes questions sur [Enter your business domain].”
“Évitez les activités sans rapport avec le sujet, les discussions sans rapport avec la base de connaissances ou les écrits créatifs.
Modèle de message type pour l’assistance à la clientèle :
📌 Vous êtes Cody, un assistant AI de support de site web qui travaille pour Villa Homes. Votre objectif est de me fournir une assistance et de répondre à mes questions sur Villa Homes, en utilisant la base de connaissances comme seule source.
Éviter les activités sans rapport avec le sujet ou s’engager dans des discussions ou des écrits créatifs sans rapport avec la base de connaissances. Si vous ne trouvez pas d’informations pertinentes dans la base de connaissances ou si l’utilisateur pose des questions non pertinentes qui ne font pas partie de la base de connaissances, reconnaissez votre incapacité et suggérez-moi de contacter l’équipe de Villa Homes au +40XXXXXXX.
Votre réponse doit être rédigée dans la même langue que ma demande et ne doit pas mentionner le mot “base de connaissances” au cours de la conversation.
Pour en savoir plus sur l’ingénierie de meilleurs messages, lisez ce blog où nous expliquons en détail tous les principes fondamentaux de Cody.
Général
Dans cette section, vous devrez définir le nom et la description de votre robot, et sélectionner le modèle que vous souhaitez utiliser avec Cody. Vous avez le choix entre trois modèles d’OpenAI :
GPT-3.5
GPT-3.5 16K
GPT-4
Avec le plan Premium, vous avez accès aux trois modèles, ce qui vous donne la liberté de choisir celui qui convient le mieux à vos besoins spécifiques. Il s’agit d’un choix pratique, qui vous permet de tirer parti de l’ensemble des capacités offertes par Cody.
Nous utiliserons le GPT-4 car il s’agit du modèle le plus avancé actuellement disponible et il est parfaitement adapté au cas d’utilisation que nous allons démontrer en raison de sa créativité accrue.
Connaissances
Le dossier créé lors de la première étape doit être lié à votre robot spécifique dans cette section. Si vous avez créé plusieurs dossiers que vous souhaitez lier, il vous suffit de sélectionner tous les dossiers sur lesquels vous souhaitez former Cody.
Il est important de comprendre que Cody n’est pas une boîte noire qui a son propre esprit. Il s’agit d’un modèle qui prédit simplement le mot suivant dans la phrase. Comme le dit le célèbre dicton de la science des données,“Garbage In, Garbage Out“. Plus vous définissez la personnalité, les règles du robot et les données que vous lui fournissez, meilleures seront les réponses qu’il génèrera. Grâce à de nouveaux ajouts tels que le mode modèle avec différents préréglages, nous essayons de rendre le processus d’incitation à la personnalité beaucoup plus facile pour les utilisateurs.
Étape 3 : Tester et partager le robot
Voici maintenant la partie la plus excitante ! Essayer et tester le robot que vous avez construit vous-même peut vous donner un grand sentiment de réussite. Il y a deux façons de tester et de partager votre robot : en créant un chat ou en utilisant le nouveau widget personnalisable.
Pour créer un widget de chat en trois étapes simples :
Allez dans la section Bots de l’interface de Cody.
Sélectionnez le robot que vous avez créé et cliquez sur les trois points “⋮” pour accéder à d’autres options.
Cliquez sur“Embed“.
Et voilà ! Vous avez créé avec succès un widget Cody personnalisable.
Lorsque vous utilisez un widget Cody, vous avez deux options pour le partager avec d’autres : Partager le lien ou Intégrer. Si vous n’avez pas de site web pour votre entreprise ou si vous n’êtes pas à l’aise avec la modification du code de votre site web, vous pouvez facilement partager le bot avec vos clients en utilisant le lien fourni.
Il existe deux types de widgets intégrables :
Inline Embed: ce type de widget sera intégré dans un espace spécifié sur votre site web. Il occupera l’espace nécessaire au widget à l’intérieur de l’élément principal défini.
Pop-Up Embed: ce type de widget apparaît sous la forme d’une icône flottante sur votre site web. Lorsqu’un visiteur clique sur l’icône, le widget s’agrandit et s’ouvre, permettant une interaction avec le chatbot.
Les deux types de widgets intégrables offrent différentes façons d’intégrer le robot Cody à votre site web, en offrant une certaine flexibilité en termes d’utilisation de l’espace et d’expérience de l’utilisateur. Vous pouvez choisir celui qui convient le mieux à la conception de votre site web et à vos préférences en matière d’interaction avec l’utilisateur.
Personnaliser le widget
Notre dernière version offre aux utilisateurs une liberté totale et des options de personnalisation pour les widgets. Cela signifie que vous pouvez adapter l’apparence, le comportement et l’expérience globale de l’utilisateur du widget à vos besoins spécifiques et à votre image de marque.
Les options de personnalisation comprennent :
En-tête
Modifier la disposition de l’en-tête (gauche ou centre).
Ajoutez le logo de votre entreprise
Couleur
Titre
Sous-titre
Chat
Taille du message (taille de la bulle de dialogue)
Couleur d’arrière-plan du chat
Bot
Messages initiaux
Couleur d’arrière-plan du message
Bot Avatar
Bot Colour
Humain
Questions suggérées
Couleur d’arrière-plan du message
Compositeur
Message générique
Icône du bouton d’envoi
Cody branding (ne peut être supprimé que dans les plans Premium et Advanced )
Lanceur
Taille
Position de l’écran
Couleur d’arrière-plan (couleur du bouton flottant)
Icône
Fermer l’icône
Toutes ces options de personnalisation devraient rendre Cody plus personnalisé et conforme à l’esthétique de votre entreprise, ce qui améliorera considérablement l’expérience utilisateur pour vos clients.
C’est à peu près tout !
La création et le partage d’un robot à l’aide de Cody sont désormais plus faciles que jamais, et ne nécessitent que trois étapes simples. Avec l’introduction récente des options de personnalisation des widgets, il n’y a jamais eu de meilleur moment pour créer votre propre bot en utilisant Cody. La flexibilité accrue de la personnalisation du widget vous permet d’adapter l’apparence et le comportement du robot aux besoins spécifiques de votre entreprise et à votre image de marque.
Nous travaillons constamment au développement et à l’introduction de nouvelles fonctionnalités pour améliorer l’expérience de Cody. Notre équipe se consacre à rendre l’ensemble du processus de construction et de déploiement des bots encore plus transparent et convivial. Restez à l’écoute des prochaines mises à jour, car nous continuons à améliorer et à affiner la plateforme Cody. Pour plus de ressources, vous pouvez également consulter notre Centre d’aide et rejoindre notre communauté Discord.
Devriez-vous passer à la version payante de Cody ? Voici pourquoi.
Il y a quelques jours, nous avons publié un nouveau modèle pour tous nos utilisateurs payants juste après la publication de l’OpenAI : GPT-3.5 16k. Aussi intimidant que cela puisse paraître, cela pourrait changer la donne pour votre entreprise. Dans ce blog, nous allons nous pencher sur les cas d’utilisation du modèle GPT-3.5 16k, explorer ses avantages et mettre en évidence ses différences avec le modèle GPT-3.5 existant et le dernier modèle haut de gamme GPT-4.
Qu’est-ce que GPT-3.5 16K ?
Si vous avez déjà utilisé la version gratuite de Cody, vous êtes peut-être déjà familiarisé avec le modèle vanille GPT-3.5, qui utilise le modèle gpt-3.5-turbo d’OpenAI. Ce modèle est le choix le plus populaire pour de nombreux utilisateurs car il est abordable, rapide et fiable dans la plupart des cas. D’autre part, le GPT-3.5-16k utilise le modèle gpt-3.5-turbo-16k d’OpenAI, qui est une extension du modèle gpt-3.5-turbo. La différence significative réside dans l’aspect “16k”.
Qu’est-ce que 16K ?
Le suffixe “16K” indique que le modèle dispose d’une fenêtre contextuelle de 16 000 tokens, ce qui représente une augmentation significative par rapport aux 4 096 tokens existants. Dans notre blog précédent, nous avons expliqué en détail ce que sont les jetons. Une fenêtre contextuelle plus petite dans les modèles peut entraîner plusieurs limitations, notamment :
Manque de pertinence : Avec une fenêtre contextuelle limitée, le modèle peut avoir du mal à saisir et à maintenir la pertinence du contexte plus large d’une conversation ou d’une tâche.
Incapacité à maintenir le contexte : Une fenêtre contextuelle plus petite peut compliquer la tâche du modèle qui doit se souvenir des informations des parties précédentes de la conversation et y faire référence, ce qui entraîne des incohérences et des difficultés à maintenir un dialogue cohérent.
Contraintes sur la longueur des requêtes : des fenêtres contextuelles plus courtes imposent des contraintes sur la longueur des requêtes, ce qui rend difficile la fourniture d’informations complètes ou la formulation de questions complexes.
Limites du contexte de la base de connaissances : Une fenêtre contextuelle plus petite peut être confrontée à des limitations dans l’incorporation de connaissances provenant de documents pertinents en raison de la limite d’ingestion de données.
Avantages d’une fenêtre contextuelle plus grande
Une question pourrait surgir dans l’esprit de certaines personnes : comment GPT-3.5 peut-il traiter plus de 1000 pages web et documents sur Cody, alors que sa capacité n’est que de 4096 jetons ? Grâce aux progrès réalisés dans le domaine de l’IA générative, la fourniture d’un contexte ne signifie pas qu’il faille simplement alimenter des modèles linguistiques tels que GPT-3.5 Turbo avec l’ensemble du document tel quel. Les processus dorsaux tels que le découpage en morceaux, les enchâssements et les bases de données vectorielles sont utilisés pour prétraiter les données, maintenir la pertinence des morceaux et permettre au modèle de naviguer dans la fenêtre contextuelle prédéfinie.
Dans le scénario actuel, une fenêtre contextuelle plus large améliorerait les performances globales de l’IA en permettant des entrées plus importantes et plus complexes, tout en réduisant le nombre de transactions de stockage de vecteurs nécessaires pour générer une réponse. Étant donné que la fenêtre contextuelle englobe à la fois l’entrée et la sortie, une fenêtre plus large permettrait également au modèle de fournir des réponses élaborées et cohérentes tout en conservant le contexte de la conversation.
Une fenêtre contextuelle plus large permettrait également d’atténuer les hallucinations qui peuvent se produire lorsque la limite de jetons dans une conversation est dépassée.
GPT-3.5 Turbo 16K v/s GPT-4
Bien que gpt-3.5-turbo-16k soit la dernière version d’OpenAI, gpt-4 la surpasse encore sur plusieurs aspects tels que la compréhension du contexte visuel, l’amélioration de la créativité, la cohérence et les performances multilingues. Le seul domaine dans lequel GPT-3.5-16k excelle est la fenêtre contextuelle, car GPT-4 est actuellement disponible dans la variante 8k, la variante 32k étant encore en cours de déploiement progressif.
En attendant que la version 32k de gpt-4 soit largement accessible, le GPT-3.5-16k se distingue par sa fenêtre contextuelle plus large. Si vous recherchez un modèle offrant une fenêtre contextuelle plus large, le GPT-3.5-16k est le choix idéal.
Cas d’utilisation d’une fenêtre contextuelle plus grande
Assistance à la clientèle : Une fenêtre contextuelle plus grande améliore la mémoire à court terme du modèle, ce qui le rend bien adapté aux applications impliquant l’assistance à la clientèle, le remplissage de formulaires et la collecte de données auprès des utilisateurs. Il permet au modèle de conserver le contexte sur une plus longue période, ce qui conduit à des réponses plus pertinentes aux entrées des utilisateurs telles que les noms, les identifiants des clients, les réclamations et les commentaires.
Formation des employés : L’utilisation de Cody à des fins de formation des employés s’avère très efficace. La formation des salariés fait souvent appel à de nombreuses données relatives aux activités, aux étapes et aux processus de l’entreprise. Pour maintenir la pertinence contextuelle tout au long du programme de formation, il devient nécessaire d’intégrer l’ensemble de l’historique des conversations du stagiaire. Une fenêtre contextuelle plus large permet d’inclure davantage d’informations historiques, ce qui facilite une expérience de formation plus complète et plus efficace.
Analyse des données : Les tâches impliquant l’analyse financière et l’inférence statistique nécessitent souvent le traitement de grands volumes de données afin d’en tirer des informations significatives. Avec une fenêtre contextuelle plus grande, le modèle peut retenir plus d’informations pertinentes pendant le calcul, ce qui permet une analyse plus cohérente et plus précise. Par exemple, la comparaison des bilans et des performances globales d’une entreprise d’une année sur l’autre peut être réalisée plus efficacement avec une fenêtre contextuelle plus grande.
Comparaison entre GPT-3.5 4K et 16K
Pour démontrer les améliorations apportées au modèle 16K, nous avons interrogé un fichier .csv du tableau périodique contenant 118 éléments et leurs caractéristiques.
La comparaison montre que le GPT-3.5 4K n’a pas été en mesure de produire tous les éléments radioactifs dans sa réponse et qu’il a omis certains éléments. En revanche, le GPT-3.5 16K a produit presque tous les éléments radioactifs présents dans le tableau fourni. Cela démontre l’amélioration de l’élaboration des réponses grâce à l’élargissement de la fenêtre contextuelle. Ce n’était qu’un petit aperçu du potentiel de la fenêtre contextuelle de 16k, avec une infinité d’applications et d’implémentations. Avec le GPT-4 32K dans le pipeline, le modèle 16K peut faciliter une transition en douceur vers une fenêtre contextuelle plus grande.
Faut-il procéder à une mise à niveau ?
L’agrandissement de la fenêtre contextuelle est sans aucun doute une mise à jour importante et non un simple gadget. Une meilleure compréhension du contexte joue un rôle crucial dans l’amélioration de la qualité des réponses, et une fenêtre contextuelle plus large libère un potentiel substantiel pour ces modèles de langue (LLM). En permettant une meilleure compréhension de l’historique de la conversation et des indices contextuels, les LLM peuvent fournir des résultats plus précis et plus adaptés au contexte.
Comme indiqué précédemment, la variante 16K de GPT-3.5 est disponible pour tous les utilisateurs à partir du plan de base. Si vous utilisez le plan personnel (gratuit) depuis un certain temps, vous avez déjà expérimenté les possibilités offertes par Cody. Le plan de base offre un excellent rapport qualité-prix, en particulier si vous n’avez pas besoin des fonctionnalités supplémentaires de GPT-4. Il convient aux personnes qui construisent un robot dans le cadre d’un projet ou d’un prototype pour leur entreprise, avec le choix supplémentaire du modèle GPT-3.5 16K. À l’avenir, lorsque nous lancerons la variante GPT-4 32K, vous pourrez toujours passer au plan premium si vous avez besoin de plus de jetons.
Pour les grandes entreprises, le plan avancé est l’option la plus puissante, qui répond aux besoins d’utilisation intensive des ressources et des volumes importants. Il offre des capacités complètes pour répondre aux exigences des opérations à grande échelle.
Un guide du débutant pour comprendre les terminologies Cody de manière simplifiée.
Avant de commencer à construire votre propre bot basé sur GPT pour votre entreprise à l’aide de Cody, il est essentiel que vous compreniez la terminologie de base afin que la flexibilité offerte par notre bot-builder ne vous intimide pas. Il n’est pas nécessaire d’être un expert en IA ou d’avoir des connaissances préalables dans ce domaine pour comprendre ces terminologies, car elles seront expliquées de la manière la plus simplifiée possible. Il s’agit d’un guide pour débutants ou d’un“Cody pour les nuls“.
Ce blog ne couvrira pas la configuration de Cody ou l’importation de données dans Cody puisque nous avons déjà publié quelques blogs qui vous aideront à configurer Cody. Dans les prochains blogs, nous approfondirons ces sujets. Sans plus attendre, comprenons les différentes terminologies que vous rencontrerez lors de la création de votre robot.
Personnalité
Cody offre deux façons de définir la personnalité de votre robot : le mode modèle et le Mode avancé . La personnalité de votre bot détermine le contexte et le comportement de votre bot afin qu’il génère des réponses utiles qui correspondent à vos attentes et évitent toute hallucination imprévue.
L’hallucination désigne le phénomène par lequel un modèle linguistique génère des réponses qui peuvent être imaginatives, spéculatives ou non fondées sur des informations factuelles.
Mode Modèle
Ce mode est utile pour les entreprises qui souhaitent une solution prête à l’emploi pour créer un robot. Nos développeurs ont créé des modèles de robots adaptés à différents domaines d’activité, tels que le soutien , Formation , RH et marketing .
Sélectionnez un domaine parmi les suivants et Cody s’occupera du reste. Pour plus de flexibilité, Cody propose également des paramètres qui peuvent être utilisés pour personnaliser la personnalité dans une certaine mesure.
Par exemple, si vous décidez de choisir l’assistance informatique comme personnalité de votre bot, vous pouvez modifier son surnom et décider de la façon dont il traitera les questions sans réponse (cas par défaut) et des langues dans lesquelles il doit converser.
Ce mode est encore en cours de développement et sera bientôt mis à jour afin de pouvoir répondre à de nombreux autres domaines d’activité grâce à une multitude de fonctions de personnalisation.
Besoin de plus de flexibilité ? Ne vous inquiétez pas, nous avons tout prévu avec notre mode avancé.
Mode avancé
L’Advanced Bot Builder vous donne la liberté de personnaliser de nombreux paramètres et vous permet de construire le bot parfait qui correspond à votre cas d’utilisation. Actuellement, vous pouvez personnaliser les paramètres suivants :
Prompt
Note de pertinence
Distribution de jetons
Invitation permanente
Recherche vectorielle inversée
Prompt
L’invitation définir la personnalité de votre robot. Pour simplifier le processus d’incitation, considérez le robot comme un employé de votre entreprise. Bien qu’il n’existe pas de structure spécifique pour la rédaction d’un questionnaire de personnalité, nous avons préparé une liste de paramètres à titre de référence.
Paramètres
Exemple
Surnom de AI
“Vous êtes Cody”.
Profil de l’emploi
“Vous travaillez en tant qu’ingénieur support informatique dans mon entreprise.
Tonalité
“Maintenir un comportement professionnel et amical dans toutes les interactions, en veillant à ce que les utilisateurs se sentent à l’aise et soutenus.
Domaine
“Technologie, soutien, consultant en technologie”
Niveau d’expertise
“N’oubliez pas de donner une impression d’expertise et de confiance dans vos réponses.
Lignes directrices éthiques
“N’inventez pas vos propres réponses et n’utilisez pas de données qui n’existent pas dans les données de formation. Ne mentionnez pas de “base de connaissances non structurées” ou de noms de fichiers au cours de la conversation”.
Services supplémentaires (facultatif)
“Essayez de promouvoir les ventes de XYZ dans la mesure du possible.
Cas par défaut (pour les questions sans réponse)
“Dans les cas où une réponse définitive n’est pas disponible, reconnaissez votre incapacité à répondre et informez l’utilisateur que vous ne pouvez pas le faire.
Un exemple d’invite :
“Vous êtes le serveur d’une pizzeria. Maintenez un comportement professionnel et amical tout au long de vos interactions, afin que les utilisateurs se sentent à l’aise et soutenus. N’oubliez pas de donner une impression d’expertise et de confiance dans vos réponses. En outre, je vous encourage à promouvoir activement nos pizzas de qualité supérieure chaque fois que cela est nécessaire. Ne faites pas référence à d’autres sources de menu que celles fournies dans la base de connaissances. Lorsque vous recommandez des pizzas, indiquez leur prix et toutes les offres qui leur sont applicables.
Note de pertinence
La note de pertinence reflète le degré de similitude entre la requête de l’utilisateur et la réponse de Cody. Grâce à la recherche sémantique, Cody compare la requête de l’utilisateur avec les données présentes dans la base de connaissances. Un score de pertinence plus élevé permettra d’obtenir une réponse précise, mais compromettra la compréhension du contexte général de la requête, et vice versa. En d’autres termes, le score de pertinence est la mesure dans laquelle l’IA craint de faire des erreurs et de prendre des risques lorsqu’elle répond.
Distribution de jetons
Le jeton est la monnaie de calcul pour les grands modèles linguistiques tels que la famille GPT. La requête (déclaration d’entrée) demandée par l’utilisateur est décomposée en blocs de caractères appelés “tokens”. jetons ‘. Les modèles d’IA étant très gourmands en ressources, afin de répondre aux contraintes de calcul et aux limitations de mémoire, ces modèles ont une certaine limite aux données d’entrée qui peuvent être traitées et générées. Cette limite est la “fenêtre de contexte”. fenêtre contextuelle ‘.
Cody utilise la famille de modèles GPT et le nombre de jetons disponibles est limité. La fonction de distribution des jetons permet de micro-gérer l’utilisation des jetons à différentes fins.
Ils sont principalement divisés en trois catégories : le contexte, l’historique et la génération de réponses.
Contexte: Les jetons nécessaires à la compréhension de la requête de l’utilisateur et du contexte de la base de connaissances.
Historique: Les jetons nécessaires pour ajouter un contexte à la requête de l’utilisateur en utilisant l’historique du chat.
Génération de réponses: Les jetons nécessaires pour évaluer la cohérence, la grammaire et la validité sémantique du texte généré.
Pour une précision maximale, il est important que le contexte constitue une grande partie de la distribution des jetons.
Invitation permanente
En renforçant continuellement l’invite (la personnalité du robot), vous créez une forme de contexte conversationnel et de contrainte qui maintient l’IA sur la bonne voie et l’aide à se conformer aux résultats souhaités. Il rappelle à l’IA de rester dans les limites prédéfinies et de fournir des réponses pertinentes, exactes et conformes à vos objectifs.
Recherche vectorielle inversée
La recherche vectorielle inversée est une fonction spécialement conçue pour les entreprises qui utilisent Cody à des fins de formation des employés. Il intègre de manière transparente les réponses de l’IA précédemment générées aux requêtes de l’utilisateur, créant ainsi une compréhension contextuelle complète qui améliore la qualité et la pertinence des réponses ultérieures. Il est particulièrement utile lorsque Cody est utilisé pour des guides pas à pas et à des fins pédagogiques.
Pour conclure
Lorsque vous maîtriserez ces terminologies, vous pourrez affiner les réponses de votre robot et les rendre encore plus personnalisées. Restez à l’écoute des prochains blogs qui proposeront des conseils, des mises à jour et des informations supplémentaires pour libérer tout le potentiel de votre robot Cody AI. Pour plus de ressources, vous pouvez également consulter notre Centre d’aide et rejoindre notre communauté Discord.
