Cuando empieces a utilizar Cody, es posible que te sientas decepcionado o desanimado porque Cody no es capaz de generar las respuestas esperadas. En este breve blog, no profundizaremos en cómo deberías utilizar Cody, pero te daremos una idea aproximada de cómo Cody utiliza tus documentos para generar respuestas, de modo que puedas entender mejor el proceso de generación y experimentar con él.
Hay dos factores principales que afectan principalmente a la generación de respuestas utilizando sus documentos:
Agrupar
Ventana de contexto
Ambas terminologías, el chunking y la ventana contextual, están interrelacionadas. Se puede establecer una sencilla analogía para comparar la generación de respuestas con la cocción de alimentos. Los trozos pueden verse como las piezas individuales de verdura que se cortan, mientras que la ventana de contexto representa el tamaño del utensilio de cocina. Es importante cortar las verduras en trozos de tamaño óptimo para realzar el sabor general, y un utensilio más grande permite añadir más trozos de verdura.
¿Qué es la fragmentación?
En términos sencillos, la fragmentación es el acto de dividir el contenido en partes manejables para un uso eficiente de la memoria. Si ha leído nuestros blogs, sabrá que modelos como GPT requieren recursos considerables y, para hacer frente a las limitaciones de la ventana contextual, empleamos múltiples procesos como el chunking.
La fragmentación es un proceso que se realiza después de cargar los documentos en Cody. Divide o segmenta el documento en varios fragmentos, cada uno de los cuales contiene el contexto circundante pertinente. A estos trozos se les asignan etiquetas numéricas para facilitar el cálculo, lo que se conoce como incrustación. Es importante encontrar el tamaño óptimo de los trozos. Un tamaño de trozo menor reduce la relevancia del contexto, mientras que un tamaño de trozo mayor introduce más ruido. El algoritmo de troceado de Cody ajusta dinámicamente el tamaño del trozo en función de la distribución de tokens establecida por el usuario.
¿Cómo afecta la Ventana de Contexto a las respuestas del Bot?
En la calidad de las respuestas de los bots influyen varios factores, como el indicador de personalidad, la puntuación de relevancia, etc. La ventana contextual del modelo también desempeña un papel importante en la determinación de la calidad. La ventana de contexto se refiere a la cantidad de texto que un LLM (Modelo de Lenguaje) puede procesar en una sola llamada. Dado que Cody utiliza incrustaciones e inyección de contexto para generar respuestas utilizando modelos OpenAI, una ventana de contexto más amplia permite una mayor ingestión de datos por parte del modelo en cada consulta.
💡 Cada Consulta (≤ Ventana de Contexto) = Personalidad del Bot + Trozos de Conocimiento + Historial + Entrada del Usuario + Respuesta.
Ventanas contextuales de distintos modelos:
GPT-3.5: 4096 fichas (≈3500 palabras)
GPT-3.5 16K: 16000 fichas (≈13000 palabras)
GPT-4: 8000 fichas (≈7000 palabras)
Cuando la ventana contextual es más grande, permite una mayor proporción de cada parámetro, incluyendo Personalidad, Trozos, Historia, Entrada y Respuesta. Este contexto ampliado permite al robot generar respuestas más pertinentes, coherentes y creativas.
La última incorporación de Cody permite a los usuarios comprobar las citas de los documentos haciendo clic en el nombre del documento al final de las respuestas. Estas citas corresponden a los trozos obtenidos mediante la búsqueda semántica. Cody determina el umbral de trozos para el contexto basándose en la puntuación de relevancia establecida por el usuario. Si el usuario establece una puntuación de relevancia alta, Cody sólo utiliza los trozos que superan un umbral predefinido como contexto para generar la respuesta.
Ejemplo
Asumiendo un valor límite predefinido del 90% para una puntuación de relevancia alta, Cody descarta cualquier trozo con una puntuación de relevancia inferior al 90%. Recomendamos a los nuevos usuarios que empiecen con una puntuación de relevancia baja (baja o equilibrada), especialmente cuando utilicen documentos cargados (PDF, Powerpoints, Word, etc.) o sitios web. Los documentos o sitios web cargados pueden encontrar problemas de formato y legibilidad durante el preprocesamiento, lo que puede dar lugar a puntuaciones de relevancia más bajas. Formatear el documento utilizando nuestro editor de texto integrado en lugar de cargar documentos sin formato garantizará la máxima precisión y puntuación de confianza.
Si te ha parecido interesante este blog y quieres profundizar en los conceptos de ventana contextual y chunking, te recomendamos encarecidamente que leas este blog escrito por Kristian de All About AI. Para obtener más recursos, también puedes consultar nuestro Centro de ayuda y unirte a nuestra comunidad de Discord.
Una guía paso a paso para crear su propia IA que satisfaga las necesidades de su empresa.
Las aplicaciones de los bots son muy amplias y, con el aumento del uso de modelos generativos por parte de los bots, puede resultar tentador subirse al carro y construir tu propio ChatGPT. Con el lanzamiento de Cody, crear chatbots de IA nunca había sido tan fácil. La interfaz agnóstica de modelos y sin código de Cody trata de hacer accesible la IA personal a todos los ámbitos individuales y empresariales existentes. Sin embargo, aunque Cody se esfuerza por que todo el proceso sea lo más sencillo posible, puede resultar un poco intimidante para alguien que sea nuevo en el mundo de la IA. Por eso, en este blog, te explicamos de principio a fin cómo construir tu propio ChatGPT usando Cody. Le guiaremos a través de un caso práctico que le ayudará a iniciar su andadura en Cody con confianza.
El caso práctico
Construiremos un chatbot de inteligencia artificial con Cody que actuará como guía turístico. Será un valioso complemento para las empresas relacionadas con el turismo, ya que puede mejorar enormemente la experiencia del cliente. Pero el alcance de la creación de un chatbot con Cody no se limita a un solo ámbito empresarial. Los usuarios pueden experimentar con diferentes indicaciones para crear un bot adaptado a su propio negocio y también compartirlo con sus clientes después de leer este blog.
Requisitos
Contenido relacionado con su empresa (PDF, Word, sitio web o texto)
Cuenta en Cody (Plan recomendado: Premium)
15 minutos
Paso 1: Añadir datos a la base de conocimientos
Para añadir documentos a Train Cody según las necesidades de tu empresa, sigue estos pasos:
Vaya a la sección Contenido de la interfaz de Cody.
Crea una nueva carpeta para organizar tus documentos.
Existen tres métodos para añadir datos a la base de conocimientos:
Escribir: Utiliza el editor de texto integrado para introducir directamente el contenido.
Cargar: Cargue archivos PDF, Word o PowerPoint que contengan información relevante.
Importar sitio web: Esta función le permite rastrear el sitio web de su empresa y recopilar datos automáticamente. (Nota: Esta función sólo está disponible en los planes Premium y Avanzado ).
Para este tutorial concreto, utilizaremos una guía de Boston que incluye información sobre diversas atracciones turísticas, sus descripciones, horarios de funcionamiento, direcciones y preguntas frecuentes (FAQ).
Después de subir los documentos necesarios, podrás seguir su estado, que puede ser“aprendiendo” o“aprendido“. El estado indica si Cody está actualmente en proceso de aprendizaje de los documentos o si ha completado con éxito el proceso de aprendizaje. Una vez que Cody haya aprendido los documentos cargados, puedes pasar al siguiente paso, que consiste en construir el chatbot propiamente dicho.
Nota: Es fundamental asegurarse de que los documentos que proporcione sigan un formato específico que mejore la calidad de las respuestas generadas por Cody. Para saber más sobre el formato de documento recomendado, le recomendamos que lea la documentación proporcionada sobre directrices de formato.
Paso 2: Crear el propósito del bot
El propósito se divide a su vez en 3 partes:
Personalidad
La personalidad actúa como el cerebro del bot y desempeña un papel esencial en la generación de respuestas eficaces y útiles. Se compone de múltiples parámetros como Prompt, Relevance Score, Token Distribution, Prompt Persistence y Reverse Vector Search. Para una explicación detallada de estas terminologías, recomendamos consultar nuestro blog anterior, que ofrece información exhaustiva para los recién llegados a Cody. Cody ofrece dos opciones al usuario para crear la personalidad: Modo Plantilla y Modo avanzado.
El modo de plantilla proporciona a los usuarios indicaciones predefinidas, ofreciendo una cómoda solución plug-and-play. Para este tutorial y caso de uso, nos limitaremos a utilizar el Modo Avanzado ya que el caso de uso no está cubierto actualmente en el Modo Plantilla. En el futuro, tenemos previsto crear una biblioteca de avisos con sus casos de uso específicos, lo que ofrecerá aún más opciones a los usuarios y también añadirá más preajustes al Modo Plantilla.
Personalidad para el guía turístico de AI:
Pregunte a
Eres Cody Travel Guide, un asistente de inteligencia artificial dedicado a proporcionar información precisa sobre Boston. Su tarea principal es ayudarme proporcionándome respuestas fiables y claras a mis preguntas, basándose en la información disponible en la base de conocimientos como única fuente. Abstente de mencionar “base de conocimientos” o nombres de archivos durante la conversación. Es reacio a hacer afirmaciones a menos que estén expuestas o respaldadas por la base de conocimientos. Cuando no disponga de una respuesta definitiva, reconozca su incapacidad para contestar e infórmeme de que no puede responder. En lugar de decir “la información se basa en mis conocimientos”, basta con decir “disculpen si me he olvidado de algo”.
Intenta utilizar el siguiente formato para mostrar la información:
<h2> Nombre del lugar </h2>
<strong> Descripción: </strong> <br>
<strong> Dirección: </strong> <br>
<strong> Horario de trabajo: </strong> <br>
<strong> Información adicional: </strong> <br>
Visite la página <a href=’Insertar enlace’>< /a> para saber más.
Si se le pide un plan o itinerario de viaje personalizado, cree uno utilizando los horarios y la descripción que se proporcionan en este formato:
Nombre del lugar: <br>
Hora de visita: Hora de inicio-Hora de finalización <br>
Dirección: <br>
Puntuación de relevancia: Equilibrado
Distribución de fichas: 70-10-20 (Context-History-Response)
Persist Prompt: En
Búsqueda vectorial inversa: Off
💡 Si quieres dar un formato determinado a las respuestas de tu bot, Cody admite etiquetas Markdown y HTML, en las que puedes definir una plantilla de formato para tu bot.
Cada pregunta de personalidad debe seguir una estructura específica para obtener respuestas de calidad. Consejos importantes para elaborar un aviso eficaz con ejemplos:
→ Define las fallbacks:
“En lugar de decir ‘que la información se basa en mi base de conocimientos’, basta con decir ‘disculpen si me he saltado algo'”.
“Si no puede encontrar información relevante en la base de conocimientos, reconozca su incapacidad y sugiera ponerse en contacto con [Enter your website URL/contact no.]”
→ Delimita las fuentes:
“Utiliza la base de conocimientos como única fuente”.
“Su respuesta debe estar en el mismo idioma que mi petición, y no debe mencionar la palabra base de conocimientos durante la conversación”.
→ Define el objetivo:
“Su objetivo es proporcionarme asistencia y responder a mis preguntas sobre [Enter your business domain].”
“Evitar actividades no relacionadas o participar en discusiones no relacionadas con la base de conocimientos o la escritura creativa”.
Ejemplo de formulario para el servicio de atención al cliente:
📌 Eres Cody, un Asistente AI de Soporte de Sitios Web que trabaja para Villa Homes. Su objetivo es proporcionarme apoyo y responder a mis preguntas sobre Villa Homes, utilizando la base de conocimientos como única fuente.
Evitar actividades no relacionadas o participar en debates no relacionados con la base de conocimientos o la escritura creativa. Si no puedes encontrar información relevante en la base de conocimientos o si el usuario hace preguntas no relacionadas que no forman parte de la base de conocimientos, reconoce tu incapacidad y sugiere que contacte con el equipo de Villa Homes en el +40XXXXXXX
Su respuesta debe estar en el mismo idioma que mi solicitud, y no debe mencionar la palabra base de conocimientos durante la conversación.
Para saber más sobre la ingeniería de mejores prompts, lea este blog donde explicamos en detalle todos los fundamentos de Cody.
General
En esta sección, deberás definir el nombre y la descripción de tu bot, así como seleccionar el modelo que deseas utilizar con Cody. Puedes elegir entre tres modelos diferentes de OpenAI:
GPT-3.5
GPT-3.5 16K
GPT-4
Con el Plan Premium, tiene acceso a los tres modelos, lo que le da libertad para elegir el más adecuado a sus necesidades específicas. Es una opción práctica que permite aprovechar todas las posibilidades que ofrece Cody.
Utilizaremos el GPT-4, ya que es el modelo más avanzado disponible en la actualidad y se adapta perfectamente al caso de uso que vamos a demostrar gracias a su mayor creatividad.
Conocimientos
La carpeta creada en el primer paso debe estar vinculada a su bot específico en esta sección. Si ha creado varias carpetas que desea vincular, sólo tiene que seleccionar todas las carpetas en las que desee formar a Cody.
Es importante entender que Cody no es una caja negra con mente propia. Es un modelo que simplemente predice la siguiente palabra de la frase. Como dice el famoso dicho de la ciencia de datos:“Basura dentro, basura fuera“. Cuanto mejor configures la personalidad, definas las reglas del bot y limpies los datos que le proporciones, mejores respuestas generará. Con nuevas incorporaciones, como el modo de plantillas con varios preajustes, intentamos facilitar a los usuarios el proceso de indicación de la personalidad.
Paso 3: Probar y compartir el bot
Ahora viene la parte más emocionante. Probar y ensayar el robot que has construido tú mismo puede darte una gran sensación de logro. Hay dos formas de probar y compartir tu bot: creando un chat o utilizando el recién lanzado widget personalizable.
Para crear un widget de chat en sólo tres sencillos pasos:
Ve a la sección Bots de la interfaz de Cody.
Selecciona el bot que has creado y haz clic en los tres puntos ‘⋮’ para ver más opciones.
Haga clic en“Incrustar“.
Y ¡voilá! Has creado con éxito un Widget Cody personalizable.
Cuando utilizas un widget de Cody, tienes dos opciones para compartirlo con otros: Compartir enlace o Incrustar. Si no tienes un sitio web para tu negocio o si no te sientes cómodo modificando el código de tu sitio web, puedes compartir fácilmente el bot con tus clientes utilizando el enlace proporcionado.
Existen dos tipos de widgets integrables:
Inline Embed: Este tipo de widget se incrustará en un espacio específico de su sitio web. Ocupará el espacio necesario que requiera el widget dentro del elemento principal definido.
Pop-Up Embed: Este tipo de widget aparece como un icono flotante en su sitio web. Cuando un visitante hace clic en el icono, el widget se expande y se abre, permitiendo la interacción con el chatbot.
Ambos tipos de widgets incrustables proporcionan diferentes formas de integrar el bot Cody en tu sitio web, ofreciendo flexibilidad en cuanto a la utilización del espacio y la experiencia del usuario. Puede elegir el que mejor se adapte al diseño de su sitio web y a las preferencias de interacción del usuario.
Personalizar el widget
Nuestra última novedad ofrece a los usuarios total libertad y opciones de personalización para los widgets. Esto significa que puede adaptar el aspecto, el comportamiento y la experiencia general del usuario del widget a sus requisitos específicos y a su marca.
Las opciones de personalización incluyen:
Cabecera
Cambiar la disposición de la cabecera (Izquierda o Centro).
Añada el logotipo de su empresa
Color
Título
Subtítulo
Chat
Tamaño del mensaje (tamaño de la burbuja de chat)
Color de fondo del chat
Bot
Mensajes iniciales
Color de fondo del mensaje
Avatar Bot
Bot Color
Humano
Preguntas sugeridas
Color de fondo del mensaje
Compositor
Mensaje con marcador de posición
Icono del botón Enviar
Marca Cody (Sólo se puede eliminar en los planes Premium y Avanzado )
Lanzador
Talla
Posición de la pantalla
Color de fondo (color del botón flotante)
Icono
Cerrar icono
Todas estas opciones de personalización deberían hacer que Cody sea más personalizado y acorde con la estética de su negocio, lo que se traduce en una experiencia de usuario mucho mejor para sus clientes.
¡Eso es todo!
Crear y compartir un bot con Cody es ahora más fácil que nunca, con sólo tres sencillos pasos. Con la reciente introducción de las opciones de personalización de los widgets, nunca ha habido mejor momento para crear tu propio bot con Cody. La flexibilidad añadida en la personalización del widget te permite adaptar la apariencia y el comportamiento del bot a las necesidades específicas de tu negocio y de tu marca.
Trabajamos constantemente en el desarrollo y la introducción de funciones más interesantes para mejorar la experiencia de Cody. Nuestro equipo se dedica a hacer que todo el proceso de creación y despliegue de bots sea aún más fluido y fácil de usar. Esté atento a las próximas actualizaciones, ya que seguimos mejorando y perfeccionando la plataforma Cody. Para obtener más recursos, también puedes consultar nuestro Centro de ayuda y unirte a nuestra comunidad de Discord.
¿Deberías pasarte a la versión de pago de Cody? He aquí por qué querrías hacerlo.
Hace unos días, lanzamos un modelo más nuevo para todos nuestros usuarios de pago justo después del lanzamiento de OpenAI: GPT-3.5 16k. Por intimidante que pueda parecer, puede cambiar las reglas del juego de su empresa. En este blog, profundizaremos en los casos de uso de GPT-3.5 16k, exploraremos sus ventajas y destacaremos en qué se diferencia del modelo GPT-3.5 existente y del último GPT-4 de gama alta.
¿Qué es GPT-3.5 16K?
Si ya has utilizado la versión gratuita de Cody, puede que estés familiarizado con el modelo vainilla GPT-3.5, que utiliza el modelo gpt-3.5-turbo de OpenAI. Este modelo es la elección popular de muchos usuarios, ya que ofrece asequibilidad, velocidad y fiabilidad en la mayoría de los casos. Por otro lado, el GPT-3.5-16k utiliza el modelo gpt-3.5-turbo-16k de OpenAI, que es una extensión del gpt-3.5-turbo. La diferencia significativa radica en el aspecto “16k”.
¿Qué es 16K?
El sufijo “16K” indica que el modelo tiene una ventana contextual de 16.000 fichas, lo que supone un aumento significativo respecto a las 4.096 fichas actuales. En nuestro blog anterior, explicamos en detalle qué son las fichas. Una ventana contextual más pequeña en los modelos puede acarrear varias limitaciones, entre ellas:
Falta de relevancia: Con una ventana de contexto limitada, el modelo puede tener dificultades para captar y mantener la relevancia del contexto más amplio de una conversación o tarea.
Incapacidad para mantener el contexto: Una ventana de contexto más pequeña puede dificultar que el modelo recuerde y haga referencia a información de partes anteriores de una conversación, lo que provoca incoherencias y dificultades para mantener un diálogo coherente.
Restricciones en la longitud de las consultas: las ventanas contextuales más cortas imponen restricciones en la longitud de las consultas, lo que dificulta proporcionar información exhaustiva o formular preguntas complejas.
Limitaciones del contexto de la base de conocimientos: Una ventana de contexto más pequeña puede enfrentarse a limitaciones a la hora de incorporar conocimiento de documentos relevantes del conocimiento debido al límite de ingestión de datos.
Ventajas de una ventana contextual más grande
A algunas personas podría surgirles una pregunta: ¿Cómo es posible que GPT-3.5 pueda procesar más de 1.000 páginas web y documentos en Cody, a pesar de su capacidad de sólo 4.096 tokens? Con los avances en el campo de la IA generativa, proporcionar contexto no significa simplemente alimentar todo el documento tal cual a modelos lingüísticos como GPT-3.5 Turbo. Para preprocesar los datos se utilizan procesos backend como el chunking, los embeddings y las bases de datos vectoriales, que mantienen la relevancia dentro de los trozos y permiten al modelo navegar por la ventana de contexto predefinida.
En el escenario actual, una ventana de contexto más grande mejoraría el rendimiento general de la IA al acomodar entradas más grandes y complejas, reduciendo al mismo tiempo el número de transacciones de vector-almacenamiento necesarias para generar una respuesta. Dado que la ventana de contexto abarca tanto la entrada como la salida, una ventana más amplia también permitiría al modelo ofrecer respuestas elaboradas y coherentes manteniendo el contexto conversacional.
Una ventana de contexto más amplia también ayudaría a mitigar las alucinaciones que pueden producirse cuando se supera el límite de tokens en una conversación.
GPT-3.5 Turbo 16K frente a GPT-4
Aunque gpt-3.5-turbo-16k es la última versión de OpenAI, gpt-4 sigue superándola en varios aspectos, como la comprensión del contexto visual, la mejora de la creatividad, la coherencia y el rendimiento multilingüe. La única área en la que GPT-3.5-16k destaca es la ventana contextual, ya que GPT-4 está disponible actualmente en la variante de 8k, mientras que la variante de 32k se está lanzando gradualmente.
Mientras tanto, hasta que la versión de 32k de gpt-4 sea ampliamente accesible, la GPT-3.5-16k destaca por su mayor ventana contextual. Si busca específicamente un modelo que ofrezca una ventana contextual más amplia, el GPT-3.5-16k es la opción ideal.
Casos de uso de una ventana contextual más grande
Atención al cliente: Una ventana contextual más amplia mejora la memoria a corto plazo del modelo, lo que lo hace muy adecuado para aplicaciones de atención al cliente, cumplimentación de formularios y recogida de datos de usuarios. Permite al modelo mantener el contexto durante un periodo más largo, lo que da lugar a respuestas más pertinentes a las entradas de los usuarios, como nombres, ID de clientes, quejas y comentarios.
Formación de empleados: Aprovechar Cody para formar a los empleados resulta muy eficaz. La formación de los empleados suele implicar una gran cantidad de datos relacionados con las actividades, los pasos y los procesos empresariales. Para mantener la relevancia contextual a lo largo del programa de formación, se hace necesario incorporar todo el historial de conversaciones del alumno. Una ventana de contexto más amplia permite incluir más información histórica, lo que facilita una experiencia de formación más completa y eficaz.
Análisis de datos: Las tareas relacionadas con el análisis financiero y la inferencia estadística suelen requerir el procesamiento de grandes volúmenes de datos para extraer conclusiones significativas. Con una ventana de contexto mayor, el modelo puede retener más información relevante durante el cálculo, lo que da lugar a un análisis más coherente y preciso. Por ejemplo, la comparación de balances y del rendimiento global de una empresa año tras año puede ejecutarse de forma más eficaz con una ventana de contexto más amplia.
Comparación entre GPT-3.5 4K v/s 16K
Para demostrar las mejoras en el modelo de 16K, consultamos un archivo .csv de la Tabla Periódica que contiene 118 elementos y sus características.
De la comparación se desprende que GPT-3.5 4K fue incapaz de producir todos los elementos radiactivos en su respuesta y omitió algunos elementos. En cambio, GPT-3.5 16K produjo casi todos los elementos radiactivos presentes en la tabla proporcionada. Esto demuestra la mejor elaboración de las respuestas gracias a la mayor ventana de contexto. Esto ha sido sólo un pequeño vistazo al potencial que encierra la ventana contextual de 16k, con infinitas aplicaciones e implementaciones de la misma. Con GPT-4 32K en el pipeline, el modelo 16K puede facilitar una transición más suave a una ventana de contexto mayor.
¿Actualización?
La ventana contextual más grande es sin duda una actualización significativa y no un mero truco. La mejora de la comprensión del contexto desempeña un papel crucial en la mejora de la calidad de las respuestas, y una ventana de contexto más amplia desbloquea un potencial sustancial para estos modelos lingüísticos (LLM). Al permitir una comprensión más amplia de la historia de la conversación y de las pistas contextuales, los LLM pueden ofrecer resultados más precisos y adecuados al contexto.
Como ya se ha mencionado, la variante 16K de GPT-3.5 está disponible para todos los usuarios a partir del Plan Básico. Si llevas algún tiempo utilizando el plan Personal (gratuito), ya habrás experimentado las posibilidades que ofrece Cody. El Plan Básico ofrece una excelente relación calidad-precio, sobre todo si no necesita las funciones adicionales de GPT-4. Es adecuado para particulares que estén construyendo un bot como proyecto o prototipo para su negocio, con la opción añadida del modelo GPT-3.5 16K. En el futuro, cuando lancemos la variante GPT-4 32K, siempre podrás pasarte al plan Premium cuando necesites más tokens.
Para las grandes empresas, el Plan Avanzado es la opción más potente, ya que satisface las necesidades de uso intensivo de recursos y de gran volumen. Ofrece capacidades integrales para satisfacer las exigencias de las operaciones a gran escala.
Una guía para principiantes para entender las terminologías de Cody de forma simplificada.
Antes de empezar a crear tu propio bot basado en GPT para tu negocio utilizando Cody, es esencial que entiendas las terminologías básicas para que la flexibilidad que ofrece nuestro creador de bots no te intimide. No es necesario ser un experto en IA ni tener conocimientos previos en este campo para entender estas terminologías, ya que se explicarán de la forma más simplificada posible. Considérelo una guía para principiantes o“Cody para tontos“.
Este blog no cubrirá la configuración de Cody ni la importación de datos a Cody, puesto que ya hemos publicado algunos blogs que te ayudarán con la configuración. En los próximos blogs profundizaremos en esos temas. Sin más preámbulos, vamos a entender las diferentes terminologías con las que te encontrarás mientras construyes tu bot.
Personalidad
Cody ofrece dos modos de definir la personalidad de tu bot: Modo Plantilla y Modo avanzado . La personalidad de tu bot establece el contexto y el comportamiento de tu bot para garantizar que genera respuestas útiles que se ajustan a tus expectativas y evitan cualquier alucinación imprevista.
Alucinación se refiere al fenómeno en el que un modelo lingüístico genera respuestas que pueden ser imaginativas, especulativas o no basadas en información objetiva.
Modo Plantilla
Este modo es útil para aquellas empresas que desean una solución plug-and-play para crear un bot. Nuestros desarrolladores han creado plantillas de bots para distintos ámbitos empresariales, como Soporte , Formación , RRHH y Marketing .
Selecciona cualquier dominio de los siguientes y Cody se encargará del resto. Para una mayor flexibilidad, Cody también proporciona ajustes que se pueden utilizar para personalizar la personalidad hasta cierto punto.
Por ejemplo, si optas por el soporte informático como personalidad del bot, puedes cambiar el apodo del bot y decidir cómo gestionará las consultas sin respuesta (un caso predeterminado) y los idiomas en los que necesitas que el bot hable.
Este modo se encuentra aún en fase de desarrollo y pronto se actualizará para poder abarcar otros muchos ámbitos empresariales con multitud de funciones de personalización.
¿Necesita más flexibilidad? No se preocupe, le tenemos cubierto con nuestro Modo Avanzado.
Modo avanzado
El Advanced Bot Builder te da la libertad de personalizar múltiples parámetros y te permite construir el bot perfecto que se adapte a tu caso de uso. Actualmente, puede personalizar los siguientes parámetros:
Pregunte a
Puntuación de relevancia
Distribución de fichas
Aviso persistente
Búsqueda vectorial inversa
Pregunte a
El mensaje definirá la personalidad de tu bot. Para simplificar el proceso de incitación, considere al bot como un empleado más de su empresa. Aunque no existe una estructura específica para redactar un aviso de personalidad, hemos preparado una lista de parámetros para su referencia.
Parámetro
Ejemplo
Apodo de AI
“Eres Cody.”
Perfil profesional
“Trabajas como ingeniero de soporte informático en mi empresa”.
Tono
“Mantener un comportamiento profesional y amable en todas las interacciones, garantizando que los usuarios se sientan cómodos y respaldados”.
Dominio
“Tecnología, soporte, consultor tecnológico”
Nivel de especialización
“Recuerda transmitir una sensación de experiencia y confianza en tus respuestas”.
Directrices éticas
“No inventes tus propias respuestas ni utilices datos que no existan en los datos de entrenamiento. Absténgase de mencionar ‘base de conocimientos no estructurada’ o nombres de archivos durante la conversación.”
Servicios adicionales (opcionales)
“Intenta promover las ventas de XYZ siempre que sea posible”.
Caso por defecto (Para consultas sin respuesta)
“En los casos en los que no se disponga de una respuesta definitiva, reconoce tu incapacidad para responder e informa al usuario de que no puedes responder”.
Un ejemplo:
“Eres el camarero de una pizzería. Mantenga una actitud profesional y amable en todas las interacciones, asegurándose de que los usuarios se sientan cómodos y respaldados. Recuerde transmitir una sensación de experiencia y confianza en sus respuestas. Además, le animo a promocionar activamente nuestras pizzas premium siempre que sea apropiado. No haga referencia a otras fuentes de menús que no sean las que figuran en la base de conocimientos. Cuando recomiende pizzas, indique también sus precios y las ofertas aplicables a las mismas.”
Puntuación de relevancia
La puntuación de relevancia refleja el grado de similitud entre la consulta del usuario y la respuesta de Cody. Mediante la búsqueda semántica, Cody compara la consulta del usuario con los datos presentes en la base de conocimientos. Una puntuación de relevancia más alta dará lugar a una respuesta precisa, pero comprometerá la comprensión del contexto general de la consulta y viceversa. En palabras sencillas, la puntuación de relevancia es el grado en que la IA teme cometer errores y asumir riesgos al responder.
Distribución de fichas
El token es la moneda de cálculo de los grandes modelos lingüísticos como la familia GPT. La consulta (sentencia de entrada) formulada por el usuario se descompone en bloques de caracteres denominados ‘ fichas ‘. Como los modelos de IA consumen muchos recursos, para hacer frente a las restricciones computacionales y las limitaciones de memoria, estos modelos tienen un cierto límite en cuanto a los datos de entrada que pueden procesar y generar. Este límite es la ‘ ventana de contexto ‘.
Cody utiliza la familia de modelos GPT y el número de fichas disponibles es limitado. La función de distribución de fichas ayuda a microgestionar el uso de fichas para distintos fines.
Se dividen principalmente en Contexto, Historia y Generación de respuestas.
Contexto: Los tokens necesarios para comprender la consulta del usuario y el contexto de la base de conocimientos.
Historial: Los tokens necesarios para añadir contexto a la consulta del usuario utilizando el historial de chat.
Generación de respuestas: Los tokens necesarios para evaluar la coherencia, la gramática y la validez semántica del texto generado.
Para obtener la máxima precisión es importante que el contexto constituya una gran parte de la distribución de fichas.
Aviso persistente
Al reforzar continuamente el prompt (personalidad del bot), se crea una forma de contexto y restricción conversacional que mantiene a la IA en el buen camino y ayuda a mantener el cumplimiento de los resultados deseados. Actúa como recordatorio para que la IA se mantenga dentro de los límites predefinidos y proporcione respuestas pertinentes, precisas y alineadas con sus objetivos.
Búsqueda vectorial inversa
La búsqueda vectorial inversa es una función diseñada específicamente para las empresas que utilizan Cody para la formación de sus empleados. Integra a la perfección las respuestas de IA generadas previamente con las consultas de los usuarios, creando un conocimiento contextual exhaustivo que mejora la calidad y la pertinencia de las respuestas posteriores. Es especialmente valioso cuando se utiliza Cody para guías paso a paso y con fines didácticos.
Para terminar
Cuando conozcas bien estas terminologías, podrás perfeccionar las respuestas de tu bot y hacerlas aún más personalizadas. Permanece atento a los próximos blogs que ofrecerán más orientación, actualizaciones e información adicional para liberar todo el potencial de tu bot Cody AI. Para obtener más recursos, también puedes consultar nuestro Centro de ayuda y unirte a nuestra comunidad de Discord.
