Quando começar a utilizar o Cody, é possível que se sinta desapontado ou desanimado com o facto de Cody não conseguir gerar as respostas esperadas. Neste breve blogue, não vamos aprofundar a forma como deve utilizar o Cody, mas vamos dar-lhe uma ideia geral de como o Cody utiliza os seus documentos para gerar respostas, para que possa compreender melhor o processo de geração e experimentá-lo.
Há dois factores principais que afectam a geração de respostas através dos seus documentos:
Fragmentação
Janela de contexto
Ambas as terminologias, chunking e janela de contexto, estão inter-relacionadas. Pode ser feita uma analogia simples para comparar a geração de respostas com a confeção de alimentos. Os pedaços podem ser vistos como as peças individuais de vegetais que corta, enquanto a janela de contexto representa o tamanho do utensílio de cozinha. É importante cortar os legumes em pedaços de tamanho ideal para realçar o sabor geral, e um utensílio maior permite adicionar mais pedaços de legumes.
O que é Chunking?
Em termos simples, chunking é o ato de dividir o conteúdo em partes geríveis para uma utilização eficiente da memória. Se já leu os nossos blogues, deve saber que modelos como o GPT requerem recursos significativos e, para lidar com as restrições da janela de contexto, utilizamos vários processos, como o chunking.
A fragmentação é um processo efectuado depois de carregar os documentos para a Cody. Divide ou segmenta o documento em vários pedaços, sendo que cada pedaço contém o contexto envolvente relevante. A estes pedaços são então atribuídas etiquetas numéricas para facilitar o cálculo, o que é conhecido como incorporação. É importante encontrar o tamanho ideal dos pedaços. Um tamanho de fragmento mais pequeno reduz a relevância do contexto, enquanto um tamanho de fragmento maior introduz mais ruído. O algoritmo de chunking da Cody ajusta dinamicamente o tamanho dos pedaços com base na distribuição de tokens definida pelo utilizador.
Como é que a Janela de contexto afecta as respostas do Bot?
Vários factores, como a personalidade, a pontuação de relevância, etc., influenciam a qualidade das respostas dos bots. A janela de contexto do modelo também desempenha um papel significativo na determinação da qualidade. A janela de contexto refere-se à quantidade de texto que um LLM (Language Model) pode processar numa única chamada. Uma vez que o Cody utiliza embeddings e injeção de contexto para gerar respostas utilizando modelos OpenAI, uma janela de contexto maior permite a ingestão de mais dados pelo modelo em cada consulta.
💡 Cada consulta (≤ Janela de contexto) = Personalidade do robô + partes de conhecimento + histórico + entrada do utilizador + resposta
Janelas de contexto de diferentes modelos:
GPT-3.5: 4096 tokens (≈3500 palavras)
GPT-3.5 16K: 16000 tokens (≈13000 palavras)
GPT-4: 8000 tokens (≈7000 palavras)
Quando a janela de contexto é maior, permite uma maior proporção de cada parâmetro, incluindo Personalidade, Fragmentos, Histórico, Entrada e Resposta. Este contexto alargado permite ao bot gerar respostas que são mais relevantes, coerentes e criativas por natureza.
A última adição de Cody permite aos utilizadores verificar as citações dos documentos clicando no nome do documento no final das respostas. Estas citações correspondem aos pedaços obtidos através da pesquisa semântica. O Cody determina o limiar de partes para o contexto com base na pontuação de relevância definida pelo utilizador. Se o utilizador definir uma pontuação de relevância elevada, a Cody utiliza apenas os blocos que ultrapassam um limite predefinido como contexto para gerar a resposta.
Exemplo
Assumindo um valor limite predefinido de 90% para uma pontuação de relevância elevada, a Cody elimina quaisquer blocos com uma pontuação de relevância inferior a 90%. Recomendamos que os novos utilizadores comecem com uma pontuação de relevância mais baixa (baixa ou equilibrada), especificamente quando utilizam documentos carregados (PDFs, Powerpoints, Word, etc.) ou sítios Web. Os documentos ou sítios Web carregados podem encontrar problemas de formatação e legibilidade durante o pré-processamento, o que pode resultar em pontuações de relevância mais baixas. A formatação do documento utilizando o nosso editor de texto integrado, em vez de carregar documentos em bruto, garantirá a maior exatidão e pontuação de confiança.
Se achou este blogue interessante e pretende aprofundar os conceitos de janela de contexto e chunking, recomendamos vivamente a leitura deste blogue escrito por Kristian da All About AI. Para obter mais recursos, pode também consultar o nosso Centro de ajuda e juntar-se à nossa comunidade Discord.
Um guia passo a passo para criar a sua própria IA para satisfazer as suas necessidades empresariais.
As aplicações dos bots são vastas e, com o aumento da utilização de modelos generativos por parte dos bots, pode ser tentador entrar no comboio e criar o seu próprio ChatGPT. Com o lançamento do Cody, a criação de chatbots com IA nunca foi tão fácil. A interface agnóstica em termos de modelos e sem código do Cody tenta tornar a IA pessoal acessível a todos os indivíduos e domínios de atividade existentes. No entanto, embora Cody se esforce por tornar todo o processo tão simples quanto possível, pode ser um pouco intimidante para quem é novo no mundo da IA. É por isso que, neste blogue, fornecemos uma explicação completa sobre como criar o seu próprio ChatGPT utilizando Cody. Iremos acompanhá-lo através de um caso de utilização, ajudando-o a iniciar a sua jornada Cody com confiança.
O caso de utilização
Vamos construir um chatbot de IA utilizando o Cody, que actuará como um guia turístico. Esta será uma adição valiosa para as empresas relacionadas com o turismo, uma vez que pode melhorar significativamente a experiência do cliente. Mas o âmbito da construção de um chatbot com a Cody não se limita apenas a um domínio de negócio. Os utilizadores podem experimentar diferentes prompts para criar um bot adequado ao seu próprio negócio e também partilhá-lo com os seus clientes depois de lerem este blogue.
Requisitos
O seu conteúdo relacionado com a empresa (PDF, Word, sítio Web ou texto)
Conta no Cody (Plano recomendado: Premium)
15 minutos
Passo 1: Adicionar dados à base de conhecimentos
Para adicionar documentos à formação Cody para as suas necessidades comerciais, siga estes passos:
Vá para a secção Conteúdo da interface do Cody.
Crie uma nova pasta para organizar os seus documentos.
Existem três métodos disponíveis para adicionar dados à base de conhecimentos:
Escrever: Utilize o editor de texto incorporado para introduzir diretamente o conteúdo.
Carregar: Carregue ficheiros PDF, Word ou PowerPoint com informações relevantes.
Importar sítio Web: Esta funcionalidade permite-lhe rastrear o sítio Web da sua empresa e recolher dados automaticamente. (Nota: esta funcionalidade só está disponível nos planos Premium e Avançado ).
Para este tutorial específico, vamos utilizar um guia de Boston que inclui informações sobre várias atracções turísticas, as suas descrições, horários de funcionamento, endereços e perguntas frequentes (FAQs).
Depois de carregar os documentos necessários, poderá acompanhar o seu estado, que pode ser“a aprender” ou“aprendido“. O estado indica se o Cody está atualmente a aprender com os documentos ou se completou com sucesso o processo de aprendizagem. Assim que o Cody tiver aprendido os documentos carregados, pode avançar para o passo seguinte, que envolve a construção do chatbot propriamente dito.
Nota: É crucial garantir que os documentos fornecidos seguem um formato específico que melhora a qualidade das respostas geradas pela Cody. Para saber mais sobre a formatação de documentos recomendada, recomendamos a leitura da documentação fornecida sobre directrizes de formatação.
Passo 2: Criar o objetivo do Bot
O objetivo divide-se ainda em 3 partes:
Personalidade
A Personalidade actua como o cérebro do bot e desempenha um papel essencial na geração de respostas eficazes e úteis. É composto por vários parâmetros, como Prompt, Relevance Score, Token Distribution, Prompt Persistence e Reverse Vetor Search. Para uma explicação pormenorizada destas terminologias, recomendamos que consulte o nosso blogue anterior, que fornece informações completas para os novos utilizadores da Cody. A Cody oferece duas opções ao utilizador para criar a personalidade: Modo de modelo e Modo Avançado.
O modo de modelo fornece aos utilizadores avisos pré-definidos, oferecendo uma solução plug-and-play conveniente. Para este tutorial e caso de utilização, limitar-nos-emos a utilizar o Modo avançado, uma vez que o caso de utilização não é atualmente abrangido pelo Modo de modelo. No futuro, planeamos criar uma biblioteca de prompts com os seus casos de utilização específicos, proporcionando ainda mais opções aos utilizadores e adicionando também mais predefinições ao Modo de modelo.
Personalidade para o guia turístico da IA:
Prompt
É o Cody Travel Guide, um assistente de IA dedicado a fornecer informações exactas sobre Boston. A sua principal tarefa é ajudar-me, fornecendo-me respostas fiáveis e claras às minhas perguntas, com base nas informações disponíveis na base de conhecimentos como única fonte. Evite mencionar a “base de conhecimentos” ou nomes de ficheiros durante a conversa. É relutante em fazer quaisquer afirmações, a menos que sejam declaradas ou apoiadas pela base de conhecimentos. Quando não estiver disponível uma resposta definitiva, reconheça a sua incapacidade para responder e informe-me de que não pode responder. Em vez de dizer “as informações baseiam-se na minha base de conhecimentos”, basta dizer “peço desculpa se me escapou alguma coisa”.
Tente utilizar o seguinte formato para apresentar as informações:
<h2> Nome do local </h2>
<strong> Descrição: </strong> <br>
<strong> Endereço: </strong> <br>
<strong> Horário de trabalho: </strong> <br>
<strong> Informações adicionais: </strong> <br>
Aceda a <a href=’Insert link’>website</a> para saber mais.
Se lhe for pedido um plano ou itinerário personalizado, crie-o utilizando os horários e a descrição fornecidos neste formato:
Nome do lugar: <br>
Hora da visita: Hora de início Hora de fim <br>
Endereço: <br>
Pontuação de relevância: Equilibrada
Distribuição de tokens: 70-10-20 (Context-History-Response)
Persistir: Sobre
Pesquisa Vetorial Inversa: Desligado
Se quiser formatar as respostas do seu bot de uma determinada forma, a Cody suporta etiquetas Markdown e HTML, onde pode definir um modelo de formatação para o seu bot.
Cada pergunta de personalidade deve seguir uma estrutura específica para obter respostas de qualidade. Dicas importantes para criar um prompt eficaz com exemplos:
→ Definir os recursos:
“Em vez de dizer ‘que a informação se baseia na minha base de conhecimentos’, basta dizer ‘desculpem se me escapou alguma coisa’.”
“Se não conseguir encontrar informações relevantes na base de dados de conhecimento, reconheça a sua incapacidade e sugira que contacte [Enter your website URL/contact no.]”
→ Delimitar as fontes:
“Utilize a base de conhecimentos como única fonte.”
“A sua resposta deve ser dada na mesma língua que o meu pedido e não deve mencionar a palavra base de conhecimentos durante a conversa.”
→ Definir o objetivo:
“O vosso objetivo é prestar-me assistência e responder às minhas perguntas sobre [Enter your business domain].”
“Evitar actividades não relacionadas ou envolver-se em discussões não relacionadas com a base de conhecimentos ou com a escrita criativa.”
Modelo de pedido de apoio ao cliente:
És o Cody, um assistente de IA de apoio ao sítio Web que trabalha para a Villa Homes. O seu objetivo é dar-me apoio e responder às minhas perguntas sobre a Villa Homes, utilizando a base de conhecimentos como única fonte.
Evitar actividades não relacionadas ou envolver-se em discussões não relacionadas com a base de conhecimentos ou com a escrita criativa. Se não conseguir encontrar informações relevantes na base de conhecimentos ou se o utilizador fizer perguntas não relacionadas que não façam parte da base de conhecimentos, confirme a sua incapacidade e sugira que eu contacte a equipa da Villa Homes através do número +40XXXXXXX
A sua resposta deve ser dada na mesma língua que o meu pedido e não deve mencionar a palavra base de conhecimentos durante a conversa.
Para saber mais sobre como criar melhores prompts, leia este blogue onde explicamos em pormenor todos os fundamentos da Cody.
Geral
Nesta secção, terá de definir o nome e a descrição do seu bot, bem como selecionar o modelo que pretende utilizar com o Cody. Tem três modelos diferentes de OpenAI à sua escolha:
GPT-3.5
GPT-3.5 16K
GPT-4
Com o Plano Premium, tem acesso aos três modelos, o que lhe dá a liberdade de escolher o mais adequado às suas necessidades específicas. É uma escolha prática, que lhe permite tirar partido de toda a gama de capacidades oferecidas pela Cody.
Iremos utilizar o GPT-4, uma vez que é o modelo mais avançado atualmente disponível e que se adequa perfeitamente ao caso de utilização que iremos demonstrar devido à sua criatividade acrescida.
Conhecimento
A pasta criada no primeiro passo deve ser ligada ao seu bot específico nesta secção. Se tiver criado várias pastas que pretende ligar, basta selecionar todas as pastas em que pretende treinar o Cody.
É importante compreender que o Cody não é uma caixa negra que tem uma mente própria. É um modelo que prevê simplesmente a palavra seguinte na frase. Como diz o famoso ditado da ciência dos dados,“lixo dentro, lixo fora“. Quanto melhor definir a personalidade, definir as regras do bot e limpar os dados fornecidos, melhores serão as respostas geradas. Com as novas adições, como o modo de modelo com várias predefinições, estamos a tentar tornar o processo de solicitação de personalidade muito mais fácil para os utilizadores.
Passo 3: Testar e partilhar o Bot
Agora vem a parte mais emocionante! Experimentar e testar o bot que construíste pode dar-te uma grande sensação de realização. Existem duas formas de testar e partilhar o seu bot: criar um chat ou utilizar o recém-lançado widget personalizável.
Para criar um widget de chat em apenas três passos simples:
Vai à secção Bots da interface do Cody.
Seleccione o bot que criou e clique nos três pontos ‘⋮’ para mais opções.
Clique em“Incorporar“.
E voilá! Criou com sucesso um Cody Widget personalizável.
Quando utiliza um Cody Widget, tem duas opções para o partilhar com outros: Partilhar ligação ou Incorporar. Se não tiver um sítio Web para a sua empresa ou se não se sentir à vontade para modificar o código do seu sítio Web, pode facilmente partilhar o bot com os seus clientes utilizando a ligação fornecida.
Existem dois tipos de widgets incorporáveis disponíveis:
Incorporação em linha: Este tipo de widget será incorporado num espaço específico do seu sítio Web. Ocupará o espaço necessário, tal como requerido pelo widget, dentro do elemento principal definido.
Incorporação Pop-Up: Este tipo de widget aparece como um ícone flutuante no seu sítio Web. Quando um visitante clica no ícone, o widget expande-se e abre-se, permitindo a interação com o chatbot.
Ambos os tipos de widgets incorporáveis fornecem diferentes formas de integrar o bot Cody no seu sítio Web, oferecendo flexibilidade em termos de utilização do espaço e experiência do utilizador. Pode escolher o que melhor se adequa à conceção do seu sítio Web e às preferências de interação do utilizador.
Personalizar o widget
O nosso último lançamento de funcionalidades oferece aos utilizadores total liberdade e opções de personalização para widgets. Isto significa que pode personalizar o aspeto, o comportamento e a experiência geral do utilizador do widget de acordo com os seus requisitos específicos e a sua marca.
As opções de personalização incluem:
Cabeçalho
Alterar a disposição do cabeçalho (esquerda ou centro).
Adicionar o logótipo da sua empresa
Cor
Título
Subtítulo
Conversa
Tamanho da mensagem (tamanho da bolha de conversação)
Cor de fundo do chat
Garrafa
Mensagens iniciais
Cor de fundo da mensagem
Avatar do bot
Cor da garrafa
Humano
Sugestões de perguntas
Cor de fundo da mensagem
Compositor
Mensagem de espaço reservado
Ícone do botão Enviar
Marca Cody (só pode ser removida nos planos Premium e Avançado )
Lançador
Tamanho
Posição do ecrã
Cor de fundo (cor do botão flutuante)
Ícone
Ícone de fecho
Todas estas opções de personalização devem tornar o Cody mais personalizado e em linha com a estética da sua empresa, resultando numa experiência de utilizador muito melhorada para os seus clientes.
É tudo!
Criar e partilhar um bot utilizando o Cody é agora mais fácil do que nunca, exigindo apenas três passos simples. Com a recente introdução de opções de personalização de widgets, nunca houve melhor altura para criar o seu próprio bot utilizando o Cody. A flexibilidade adicional na personalização do widget permite-lhe adaptar o aspeto e o comportamento do bot para corresponder às suas necessidades comerciais específicas e à sua marca.
Estamos constantemente a trabalhar no desenvolvimento e na introdução de mais funcionalidades interessantes para melhorar a experiência Cody. A nossa equipa dedica-se a tornar todo o processo de criação e implementação de bots ainda mais simples e fácil de utilizar. Fique atento às próximas actualizações à medida que continuamos a melhorar e a aperfeiçoar a plataforma Cody. Para obter mais recursos, pode também consultar o nosso Centro de ajuda e juntar-se à nossa comunidade Discord.
Deverá atualizar para a versão paga do Cody? Eis a razão pela qual o pode querer fazer.
Há alguns dias, lançámos um modelo mais recente para todos os nossos utilizadores pagos, logo após o lançamento do OpenAI: GPT-3.5 16k. Por muito intimidante que possa parecer, pode ser um fator de mudança para a sua empresa. Neste blogue, vamos aprofundar os casos de utilização do GPT-3.5 16k, explorar as suas vantagens e realçar as suas diferenças em relação ao modelo GPT-3.5 existente e ao mais recente GPT-4 topo de gama.
O que é o GPT-3.5 16K?
Se já utilizou a versão gratuita do Cody, talvez já esteja familiarizado com o modelo GPT-3.5 básico, que utiliza o modelo gpt-3.5-turbo da OpenAI. Este modelo é a escolha popular para muitos utilizadores, uma vez que oferece acessibilidade, velocidade e fiabilidade na maioria dos casos. Por outro lado, o GPT-3.5-16k utiliza o modelo gpt-3.5-turbo-16k da OpenAI, que é uma extensão do gpt-3.5-turbo. A diferença significativa reside no aspeto “16k”.
O que é 16K?
O sufixo ’16K’ indica que o modelo tem uma janela de contexto de 16.000 tokens, um aumento significativo em relação aos 4.096 tokens actuais. No nosso blogue anterior, explicámos em pormenor o que são os tokens. Uma janela de contexto mais pequena nos modelos pode resultar em várias limitações, incluindo:
Falta de relevância: Com uma janela de contexto limitada, o modelo pode ter dificuldade em captar e manter a relevância para o contexto mais alargado de uma conversa ou tarefa.
Incapacidade de manter o contexto: Uma janela de contexto mais pequena pode fazer com que seja difícil para o modelo recordar e fazer referência a informações de partes anteriores de uma conversa, levando a inconsistências e dificuldades em manter um diálogo coerente.
Restrições ao comprimento das consultas de entrada: Janelas de contexto mais curtas impõem restrições ao comprimento das consultas de entrada, dificultando o fornecimento de informações completas ou a formulação de perguntas complexas.
Limitações do contexto da base de conhecimentos: Uma janela de contexto mais pequena pode enfrentar limitações na incorporação de conhecimentos de documentos relevantes do conhecimento devido ao limite de ingestão de dados.
Vantagens de uma janela de contexto maior
Uma pergunta pode surgir na mente de algumas pessoas: Como é que o GPT-3.5 é capaz de processar mais de 1000 páginas web e documentos no Cody, apesar da sua capacidade de apenas 4096 tokens? Com os avanços no domínio da IA generativa, fornecer contexto não significa simplesmente alimentar todo o documento com modelos linguísticos como o GPT-3.5 Turbo. Os processos de backend, como chunking, embeddings e bases de dados vectoriais, são utilizados para pré-processar os dados, mantendo a relevância dentro dos chunks e permitindo que o modelo navegue na janela de contexto predefinida.
No cenário atual, uma janela de contexto maior melhoraria o desempenho geral da IA ao acomodar entradas maiores e mais complexas, reduzindo simultaneamente o número de transacções de armazenamento de vectores necessárias para gerar uma resposta. Uma vez que a janela de contexto engloba tanto a entrada como a saída, uma janela maior também permitiria ao modelo dar respostas elaboradas e coerentes, mantendo o contexto da conversação.
Uma janela de contexto maior também ajudaria a mitigar quaisquer alucinações que possam ocorrer quando o limite de tokens numa conversa é excedido.
GPT-3.5 Turbo 16K v/s GPT-4
Embora gpt-3.5-turbo-16k seja a versão mais recente da OpenAI, gpt-4 continua a superá-la em vários aspectos, como a compreensão do contexto visual, a criatividade melhorada, a coerência e o desempenho multilingue. A única área em que o GPT-3.5-16k se destaca é a janela de contexto, uma vez que o GPT-4 está atualmente disponível na variante de 8k, com a variante de 32k ainda a ser lançada gradualmente.
Entretanto, até que a versão de 32k do gpt-4 se torne amplamente acessível, o GPT-3.5-16k destaca-se pela sua maior janela de contexto. Se estiver especificamente à procura de um modelo que ofereça uma janela de contexto mais extensa, o GPT-3.5-16k é a escolha ideal.
Casos de utilização de uma janela de contexto maior
Apoio ao cliente: Uma janela de contexto maior aumenta a memória de curto prazo do modelo, tornando-o adequado para aplicações que envolvam apoio ao cliente, preenchimento de formulários e recolha de dados do utilizador. Permite que o modelo mantenha o contexto durante um período mais longo, conduzindo a respostas mais relevantes aos dados do utilizador, como nomes, IDs de clientes, reclamações e feedback.
Formação de funcionários: A utilização da Cody para fins de formação dos empregados revela-se altamente eficaz. A formação dos empregados envolve frequentemente dados extensivos relacionados com actividades, etapas e processos empresariais. Para manter a relevância contextual ao longo do programa de formação, torna-se necessário incorporar todo o historial de conversação do formando. Uma janela de contexto maior permite a inclusão de mais informações históricas, facilitando uma experiência de formação mais abrangente e eficaz.
Análise de dados: As tarefas que envolvem a análise financeira e a inferência estatística exigem frequentemente o processamento de grandes volumes de dados para obter informações significativas. Com uma janela de contexto maior, o modelo pode reter mais informações relevantes durante o cálculo, o que resulta numa análise mais coerente e exacta. Por exemplo, a comparação de balanços e o desempenho global de uma empresa ano após ano podem ser executados de forma mais eficaz com uma janela de contexto maior.
Comparação entre GPT-3.5 4K v/s 16K
Para demonstrar as melhorias no modelo de 16K, consultámos um ficheiro .csv da Tabela Periódica que contém 118 elementos e as suas características.
Da comparação, é visível que a GPT-3.5 4K não foi capaz de produzir todos os elementos radioactivos na sua resposta e ignorou alguns elementos. Em contrapartida, o GPT-3.5 16K produziu quase todos os elementos radioactivos presentes na tabela fornecida. Este facto demonstra a melhoria da elaboração das respostas devido à maior janela de contexto. Este foi apenas um pequeno vislumbre do potencial da janela de contexto de 16k, existindo uma infinidade de aplicações e implementações da mesma. Com o GPT-4 32K no pipeline, o modelo 16K pode facilitar uma transição mais suave para uma janela de contexto maior.
Deve atualizar?
A janela de contexto maior é, sem dúvida, uma atualização significativa e não apenas um truque. Uma melhor compreensão do contexto desempenha um papel crucial na melhoria da qualidade das respostas, e uma janela de contexto mais alargada abre um potencial substancial para estes modelos de modelos de linguagem (LLM). Ao permitir uma compreensão mais alargada do histórico da conversação e das pistas contextuais, os LLM podem fornecer resultados mais exactos e contextualmente adequados.
Como mencionado anteriormente, a variante de 16K do GPT-3.5 está disponível para todos os utilizadores a partir do Plano Básico. Se já utiliza o plano Pessoal (gratuito) há algum tempo, já deve ter experimentado as capacidades oferecidas pelo Cody. O Plano Básico oferece uma excelente relação qualidade/preço, especialmente se não necessitar das funcionalidades adicionais do GPT-4. É adequado para indivíduos que estão a construir um bot como um projeto ou um protótipo para o seu negócio com a opção de modelo adicional GPT-3.5 16K. No futuro, quando lançarmos a variante GPT-4 32K, pode sempre atualizar para o plano premium quando necessitar de mais tokens.
Para as empresas de maior dimensão, o Plano Avançado é a opção mais potente, que satisfaz os requisitos de utilização intensiva de recursos e de elevado volume. Oferece capacidades abrangentes para satisfazer as exigências das operações em grande escala.
Um guia para principiantes para compreender as Terminologias Cody de uma forma simplificada.
Antes de começar a criar o seu próprio bot baseado em GPT para o seu negócio utilizando o Cody, é essencial que compreenda as principais terminologias para que a flexibilidade que o nosso construtor de bots oferece não o intimide. Não é necessário ser um especialista em IA ou ter conhecimentos prévios neste domínio para compreender estas terminologias, uma vez que serão explicadas da forma mais simplificada possível. Pense nisto como um guia para principiantes ou“Cody For Dummies“.
Este blogue não abordará a configuração da Cody ou a importação de dados para a Cody, uma vez que já publicámos alguns blogues que o ajudarão com a configuração. Nos próximos blogues, iremos aprofundar estes temas. Sem mais demoras, vamos compreender as diferentes terminologias com que se vai deparar ao construir o seu bot.
Personalidade
O Cody oferece duas formas de definir a personalidade do seu bot: Modo de modelo e Modo Avançado . A personalidade do seu bot estabelece o contexto e o comportamento do seu bot para garantir que este gera respostas úteis que correspondem às suas expectativas e evitam quaisquer alucinações imprevistas.
Alucinação refere-se ao fenómeno em que um modelo linguístico gera respostas que podem ser imaginativas, especulativas ou não baseadas em informações factuais.
Modo de modelo
Este modo é útil para as empresas que pretendem uma solução “plug-and-play” para criar um bot. Os nossos programadores criaram modelos de bot para diferentes domínios de negócio, tais como suporte , Formação , RH e Marketing .
Seleccione qualquer domínio de entre os seguintes e a Cody tratará do resto. Para maior flexibilidade, Cody também fornece definições que podem ser utilizadas para personalizar a personalidade até certo ponto.
Por exemplo, se optar pelo Suporte Informático como personalidade do seu bot, pode alterar a alcunha do seu bot e decidir como este irá lidar com as perguntas sem resposta (um caso predefinido) e as línguas em que precisa que o bot converse.
Este modo ainda se encontra em desenvolvimento e será brevemente atualizado para poder abranger vários outros domínios de atividade com uma série de funcionalidades de personalização.
Precisa de mais flexibilidade? Não se preocupe, o nosso Modo Avançado dá-lhe cobertura.
Modo avançado
O Advanced Bot Builder dá-lhe a liberdade de personalizar vários parâmetros e permite-lhe criar o bot perfeito que se adapta ao seu caso de utilização. Atualmente, é possível personalizar os seguintes parâmetros:
Prompt
Pontuação de relevância
Distribuição de tokens
Prompt persistente
Pesquisa de vectores inversa
Prompt
O aviso irá definirá a personalidade do teu bot. Para simplificar o processo de solicitação, considere o bot como um funcionário da sua empresa. Embora não exista uma estrutura específica para a redação de um tema de personalidade, preparámos uma lista de parâmetros para sua referência.
Parâmetro
Exemplo
Alcunha da IA
“Tu és o Cody.”
Perfil do emprego
“Trabalha como engenheiro de apoio informático na minha empresa.”
Tom
“Manter uma atitude profissional e amigável em todas as interacções, assegurando que os utilizadores se sintam confortáveis e apoiados.”
Domínio
“Tecnologia, apoio, consultor tecnológico”
Nível de especialização
“Lembre-se de transmitir uma sensação de perícia e confiança nas suas respostas.”
Directrizes éticas
“Não invente as suas próprias respostas nem utilize dados que não existam nos dados de formação. Evite mencionar ‘base de conhecimentos não estruturada’ ou nomes de ficheiros durante a conversa.”
Serviços adicionais (opcional)
“Tentar promover as vendas de XYZ sempre que possível.”
Caso por defeito (para consultas sem resposta)
“Nos casos em que não esteja disponível uma resposta definitiva, reconheça a sua incapacidade de responder e informe o utilizador de que não pode responder.”
Um exemplo de pedido:
“Você é o empregado de mesa de uma pizzaria. Mantenha uma atitude profissional e amigável em todas as interacções, assegurando que os utilizadores se sentem confortáveis e apoiados. Não se esqueça de transmitir uma sensação de perícia e confiança nas suas respostas. Além disso, encorajo-o a promover ativamente as nossas pizzas premium sempre que for apropriado. Não faça referência a outras fontes de menu para além das fornecidas na base de conhecimentos. Ao recomendar pizzas, indique também os respectivos preços e quaisquer ofertas que lhes sejam aplicáveis.”
Pontuação de relevância
A pontuação de relevância reflecte o grau de semelhança entre a consulta do utilizador e a resposta da Cody. Utilizando a pesquisa semântica, o Cody compara a consulta do utilizador com os dados presentes na base de conhecimentos. Uma pontuação de relevância mais elevada resultará numa resposta precisa, mas comprometerá a compreensão do contexto geral da consulta e vice-versa. Por outras palavras, a pontuação de relevância é o grau em que a IA receia cometer erros e correr riscos ao responder.
Distribuição de tokens
O token é a moeda computacional para grandes modelos de linguagem como a família GPT. A consulta (instrução de entrada) pedida pelo utilizador é dividida em blocos de caracteres conhecidos como ‘ tokens ‘. Como os modelos de IA consomem muitos recursos, para fazer face aos constrangimentos computacionais e às limitações de memória, estes modelos têm um certo limite para os dados de entrada que podem ser processados e gerados. Este limite é a ‘ janela de contexto ‘.
O Cody utiliza a família de modelos GPT e o número de fichas disponíveis é limitado. A funcionalidade de distribuição de tokens ajuda a microgerir a utilização de tokens para diferentes fins.
Dividem-se principalmente em Contexto, História e Geração de Respostas.
Contexto: Os tokens necessários para compreender a consulta do utilizador e o contexto da base de conhecimentos.
Histórico: Os tokens necessários para adicionar contexto à consulta do utilizador utilizando o histórico do chat.
Geração de respostas: Os tokens necessários para avaliar a coerência, a gramática e a validade semântica do texto gerado.
Para uma maior precisão é importante que o contexto constitua uma grande parte da distribuição dos tokens.
Prompt persistente
Reforçando continuamente o prompt (personalidade do bot), cria-se uma forma de contexto de conversação e restrição que mantém a IA no caminho certo e ajuda a manter a conformidade com os resultados desejados. Funciona como um lembrete para que a IA se mantenha dentro dos limites predefinidos e forneça respostas que sejam relevantes, precisas e alinhadas com os seus objectivos.
Pesquisa de vectores inversa
A Pesquisa de Vectores Inversos é uma funcionalidade especificamente concebida para empresas que utilizam o Cody para fins de formação de funcionários. Integra na perfeição as respostas de IA geradas anteriormente com as consultas dos utilizadores, criando uma compreensão contextual abrangente que melhora a qualidade e a relevância das respostas subsequentes. É especialmente valioso quando se utiliza Cody para guias passo-a-passo e fins didácticos.
Para terminar
Quando tiver um bom domínio destas terminologias, poderá aperfeiçoar as respostas do seu bot e torná-las ainda mais personalizadas. Fique atento aos próximos blogues que oferecerão mais orientações, actualizações e informações adicionais para libertar todo o potencial do seu bot Cody AI. Para obter mais recursos, pode também consultar o nosso Centro de ajuda e juntar-se à nossa comunidade Discord.
