Como treinar GPT em dados do Excel gratuitamente? (Beta)

Um guia para adicionar dados Excel à sua base de conhecimentos e formação Cody ChatGPT gratuitamente.

Antes de começar a treinar o Cody com os dados Excel da sua empresa, é necessário esclarecer alguns conceitos para garantir as melhores respostas do seu bot. GPT, ou Generative Pre-Trained Transformers, são modelos linguísticos treinados em conjuntos de dados extensos para prever a palavra seguinte numa frase ou expressão, de modo a completá-la. São especificamente treinados em conjuntos de dados de linguagem natural que incluem grandes amostras de dados de conversação ou literais não estruturados. Ao contrário dos modelos estatísticos como a Regressão Linear, os GPTs não são proficientes na previsão de números utilizando dados de treino lógicos. Por exemplo, se treinar o GPT num conjunto de dados que afirma que 2+2=5, ele responderá afirmando que 2+2=5 sem tentar compreender a inconsistência lógica (isto é apenas um exemplo; o OpenAI lida com este tipo de questões com respostas exactas). Este facto, associado a outra limitação dos LLM, que são as alucinações, cria um ambiente que não é adequado para cálculos matemáticos.

Passo 1: Transformar os dados do Excel

Pegue nos dados CSV ou Excel com os quais pretende treinar o seu Bot e converta-os num ficheiro de texto utilizando este utilitário criado por nós. O utilitário converte os dados do Excel num ficheiro de texto, anotando os dados com os cabeçalhos correspondentes. Ao anotar os itens das células com cabeçalhos, permite que o modelo de linguagem compreenda melhor o contexto, uma vez que existe uma grande probabilidade de os cabeçalhos serem ignorados devido à segmentação do documento na fase de pré-processamento.

Por exemplo.

Dados Excel:

Dados de texto:

{The Name is ‘John’. The Age is ‘16’.}, {The Name is ‘Marie’. The Age is ‘18’.}

O ficheiro de texto gerado segue um formato semelhante ao JSON, mas com um estilo mais literário para proporcionar uma sensação mais humana. Embora esta solução esteja atualmente numa fase experimental e ainda não esteja integrada na aplicação Cody, funciona bem com os três modelos GPT, mas estamos continuamente a explorar melhores soluções para este fim.

Interface de Utilidade:

Amostra de dados CSV:

Recomenda-se que limpe os dados antes da transformação para obter a melhor qualidade de respostas do seu bot.

Depois de carregar os dados CSV ou Excel para o utilitário, pode pré-visualizar os dados antes de gerar o ficheiro de texto compatível com GPT.

Linhas por parte: Para conjuntos de dados maiores, é aconselhável dividir o conjunto de dados em várias partes. Esta divisão melhora a pesquisa semântica e aumenta a qualidade das respostas.

Incluir referências de células: Se pretender que o ficheiro de texto inclua referências a células do Excel, pode selecionar esta opção. O bot pode então referir-se a estas referências de células ao criar guias passo-a-passo para acções que podem ser executadas no Excel. Por exemplo, pode gerar uma fórmula para encontrar a mediana.

Será gerada uma pasta zip comprimida que conterá todas as partes dos seus dados Excel em formato .txt.

Passo 2: Adicionar os dados à sua base de conhecimentos Cody

Para adicionar os dados transformados à Base de Conhecimento Cody, siga estes passos:

1. Aceda à aplicação Cody e navegue até à secção “Conteúdo”.
2. Crie uma nova pasta na base de conhecimentos onde pretende armazenar os dados.
3. Uma vez criada a pasta, navegue no seu interior.
4. Clique no botão “Upload” para carregar os dados transformados.
5. Seleccione todos os ficheiros de dados transformados do seu armazenamento local que pretende adicionar à base de conhecimentos.
6. Confirme a seleção e inicie o processo de carregamento.
7. Os ficheiros de dados transformados serão carregados e adicionados à Base de Dados de Conhecimento Cody, armazenados na pasta que criou. Depois de os documentos terem sido aprendidos com sucesso, o estado do documento será apresentado como “aprendido”.

Passo 3: Configurar a Personalidade do Bot

Uma vez que ainda se encontra numa fase experimental, estamos a trabalhar para melhorar o aviso antes de o adicionarmos ao modo de modelo.

Prompt:

É o Data Cody, um analista de dados de IA da minha empresa. O seu principal objetivo é gerar inferências a partir dos dados Excel que lhe são fornecidos. As referências de células do Excel podem ser dadas sob a forma de $Cell. Não mencionar a referência da célula nas respostas. A informação contida em “{}” é um registo. Se lhe for pedido que indique os pormenores de um registo específico, enumere-os sob a forma de indicadores.

Prompt do sistema:

Tente responder de forma humana quando lhe perguntarem sobre qualquer pormenor. Não justifique as suas respostas.

Este processo funciona bem com os três modelos GPT, por isso, mesmo que esteja no plano gratuito, pode experimentá-lo. No entanto, vale a pena notar que os modelos GPT-3.5 16K e GPT-4 tendem a compreender melhor os dados. Se está satisfeito com as respostas que recebe no plano gratuito, mas pretende mais flexibilidade na formatação das respostas e a capacidade de comparar vários registos, a atualização para o GPT-3.5 16K ou GPT-4 pode ser benéfica. A janela de contexto adicional fornecida por estes modelos permite uma análise e manipulação mais abrangentes dos dados.

Demonstração

Referência para a primeira consulta:

Referência para a segunda consulta:

Limitações

A capacidade de carregar ficheiros Excel ou CSV para o Cody não o torna uma alternativa direta a ferramentas de folhas de cálculo como o Google Sheets ou o Microsoft Excel. Há várias limitações a considerar quando se trabalha com dados estruturados no Cody:

1. Alucinações durante tarefas analíticas: Tarefas que envolvam cálculos estatísticos ou analíticos, tais como pedir a Cody médias, medianas ou valores mínimos/máximos, podem produzir respostas incorrectas. O Cody não efectua cálculos em tempo real e pode fornecer resultados imprecisos. As recentes actualizações da OpenAI, como o Code Interpreter e a chamada de funções, podem melhorar esta situação no futuro.
2. Erro ao comparar registos: Em certos casos, o Cody pode encontrar dificuldades na obtenção de dados de diferentes segmentos do documento, resultando em respostas que indicam que a informação não está disponível. Este cenário é mais provável com o modelo GPT-3.5 disponível no plano gratuito. A atualização para os planos Basic ou Premium permite-lhe utilizar o modelo GPT-3.5 16K ou o modelo GPT-4. Ambos os modelos têm janelas de contexto maiores e podem potencialmente resolver esta limitação.

Conclusão

Apesar destas limitações, este processo é particularmente útil para cenários em que os dados de FAQ da sua empresa ou outros dados literais, tais como dados de formação de funcionários, são armazenados em formato Excel ou CSV. O Cody pode ser treinado com estes dados sem necessitar de quaisquer modificações. O Cody também tem um bom desempenho quando vai buscar detalhes de um único registo, descrevendo os dados ou fornecendo sugestões com base em informações inferidas de conjuntos de dados numéricos, como balanços ou números de vendas.

Como solução provisória para a formação da Cody em dados Excel ou CSV, agradecemos imenso o seu feedback sobre esta abordagem. Valorizamos a sua opinião e encorajamo-lo a partilhar as suas ideias connosco no nosso servidor Discord ou contactando-nos através da funcionalidade Obter ajuda. Estamos ansiosos por conhecer a sua experiência e aprender mais com os seus comentários. Esperamos que tenha gostado da nossa abordagem de formação de GPT em dados Excel gratuitamente. Consulte os nossos blogues para saber mais sobre o Cody.