{"id":36854,"date":"2024-05-06T10:46:47","date_gmt":"2024-05-06T10:46:47","guid":{"rendered":"https:\/\/meetcody.ai\/blog\/groq-et-llama-3-un-duo-qui-change-la-donne\/"},"modified":"2024-05-06T10:46:47","modified_gmt":"2024-05-06T10:46:47","slug":"groq-et-llama-3-un-duo-qui-change-la-donne","status":"publish","type":"post","link":"https:\/\/meetcody.ai\/fr\/blog\/groq-et-llama-3-un-duo-qui-change-la-donne\/","title":{"rendered":"Groq et Llama 3 : Un duo qui change la donne"},"content":{"rendered":"

Il y a quelques mois, une nouvelle entreprise baptis\u00e9e “Groq” a \u00e9merg\u00e9 de nulle part, faisant une perc\u00e9e dans le secteur de l’IA. Ils ont fourni une plate-forme permettant aux d\u00e9veloppeurs d’acc\u00e9der aux LPU en tant que moteurs d’inf\u00e9rence pour les LLM, en particulier ceux \u00e0 code source ouvert tels que Llama, Mixtral et Gemma. Dans ce blog, nous allons explorer ce qui rend Groq si sp\u00e9cial et nous plonger dans les merveilles qui se cachent derri\u00e8re les LPU.<\/p>\n

Qu’est-ce que Groq ?<\/h2>\n

“Groq a pour mission d’\u00e9tablir la norme en mati\u00e8re de vitesse d’inf\u00e9rence GenAI, en aidant les applications d’IA en temps r\u00e9el \u00e0 voir le jour aujourd’hui. – Le site web de Groq<\/p><\/blockquote>\n

Groq n’est pas une entreprise qui d\u00e9veloppe des LLM comme GPT ou Gemini. Groq se concentre plut\u00f4t sur l’am\u00e9lioration des fondements de ces grands mod\u00e8les de langage, \u00e0 savoir le mat\u00e9riel sur lequel ils fonctionnent. Il sert de “moteur d’inf\u00e9rence”. Actuellement, la plupart des LLM sur le march\u00e9 utilisent des GPU traditionnels d\u00e9ploy\u00e9s sur des serveurs priv\u00e9s ou dans le nuage. Bien que ces GPU soient chers et puissants, provenant d’entreprises telles que Nvidia, ils reposent toujours sur l’architecture GPU traditionnelle, qui peut ne pas \u00eatre adapt\u00e9e de mani\u00e8re optimale \u00e0 l’inf\u00e9rence LLM (bien qu’ils restent puissants et pr\u00e9f\u00e9r\u00e9s pour les mod\u00e8les d’entra\u00eenement).<\/p>\n

Le moteur d’inf\u00e9rence fourni par Groq fonctionne sur des LPU (Language Processing Units).<\/p>\n

Qu’est-ce qu’un LPU ?<\/h2>\n

Une unit\u00e9 de traitement du langage est une puce sp\u00e9cialement con\u00e7ue pour les LLM et repose sur une architecture unique combinant CPU et GPU pour transformer le rythme, la pr\u00e9visibilit\u00e9, la performance et la pr\u00e9cision des solutions d’IA pour les LLM.<\/p>\n

\"LPUs<\/p>\n

Caract\u00e9ristiques principales d’un syst\u00e8me LPU. Cr\u00e9dits : Groq<\/p>\n

Un syst\u00e8me LPU a autant ou plus de capacit\u00e9 de calcul qu’un processeur graphique (GPU) et r\u00e9duit le temps de calcul par mot, ce qui permet de g\u00e9n\u00e9rer plus rapidement des s\u00e9quences de texte.<\/p>\n

Caract\u00e9ristiques d’un moteur d’inf\u00e9rence LPU telles que list\u00e9es sur le site web de Groq :<\/strong><\/p>\n