{"id":36858,"date":"2024-05-06T10:46:47","date_gmt":"2024-05-06T10:46:47","guid":{"rendered":"https:\/\/meetcody.ai\/blog\/groq-e-llama-3-uma-dupla-que-muda-o-jogo\/"},"modified":"2024-05-06T10:46:47","modified_gmt":"2024-05-06T10:46:47","slug":"groq-e-llama-3-uma-dupla-que-muda-o-jogo","status":"publish","type":"post","link":"https:\/\/meetcody.ai\/pt-br\/blog\/groq-e-llama-3-uma-dupla-que-muda-o-jogo\/","title":{"rendered":"Groq e Llama 3: uma dupla que muda o jogo"},"content":{"rendered":"

H\u00e1 alguns meses, uma nova empresa chamada “Groq” surgiu aparentemente do nada, fazendo um grande avan\u00e7o no setor de IA. Eles forneceram uma plataforma para os desenvolvedores acessarem as LPUs como mecanismos de infer\u00eancia para LLMs, especialmente os de c\u00f3digo aberto, como Llama, Mixtral e Gemma. Neste blog, vamos explorar o que torna o Groq t\u00e3o especial e nos aprofundar na maravilha por tr\u00e1s das LPUs.<\/p>\n

O que \u00e9 Groq?<\/h2>\n

“A Groq tem a miss\u00e3o de definir o padr\u00e3o para a velocidade de infer\u00eancia da GenAI, ajudando os aplicativos de IA em tempo real a ganhar vida hoje.” – Site da Groq<\/p><\/blockquote>\n

A Groq n\u00e3o \u00e9 uma empresa que desenvolve LLMs como a GPT ou a Gemini. Em vez disso, o Groq se concentra em aprimorar as bases desses grandes modelos de linguagem – o hardware em que operam. Ele funciona como um “mecanismo de infer\u00eancia”. Atualmente, a maioria dos LLMs no mercado utiliza GPUs tradicionais implantadas em servidores privados ou na nuvem. Embora essas GPUs sejam caras e potentes, fornecidas por empresas como a Nvidia, elas ainda dependem da arquitetura tradicional de GPU, que pode n\u00e3o ser ideal para a infer\u00eancia LLM (embora continuem sendo potentes e preferidas para modelos de treinamento).<\/p>\n

O mecanismo de infer\u00eancia fornecido pelo Groq funciona em LPUs – Unidades de Processamento de Linguagem.<\/p>\n

O que \u00e9 uma LPU?<\/h2>\n

Uma Unidade de Processamento de Linguagem \u00e9 um chip projetado especificamente para LLMs e \u00e9 constru\u00eddo em uma arquitetura exclusiva que combina CPUs e GPUs para transformar o ritmo, a previsibilidade, o desempenho e a precis\u00e3o das solu\u00e7\u00f5es de IA para LLMs.<\/p>\n

\"LPUs<\/p>\n

Principais atributos de um sistema de LPU. Cr\u00e9ditos: Groq<\/p>\n

Um sistema LPU tem tanto ou mais computa\u00e7\u00e3o do que um processador gr\u00e1fico (GPU) e reduz o tempo de c\u00e1lculo por palavra, permitindo a gera\u00e7\u00e3o mais r\u00e1pida de sequ\u00eancias de texto.<\/p>\n

Recursos de um mecanismo de infer\u00eancia de LPU, conforme listado no site do Groq:<\/strong><\/p>\n