{"id":36853,"date":"2024-05-06T10:46:47","date_gmt":"2024-05-06T10:46:47","guid":{"rendered":"https:\/\/meetcody.ai\/blog\/groq-und-llama-3-ein-spielveraenderndes-duo\/"},"modified":"2024-05-06T10:46:47","modified_gmt":"2024-05-06T10:46:47","slug":"groq-und-llama-3-ein-spielveraenderndes-duo","status":"publish","type":"post","link":"https:\/\/meetcody.ai\/de\/blog\/groq-und-llama-3-ein-spielveraenderndes-duo\/","title":{"rendered":"Groq und Llama 3: Ein spielver\u00e4nderndes Duo"},"content":{"rendered":"

Vor ein paar Monaten tauchte wie aus dem Nichts ein neues Unternehmen namens ‘Groq’ auf, das einen Durchbruch in der KI-Branche erzielte. Sie boten Entwicklern eine Plattform f\u00fcr den Zugriff auf LPUs als Inferencing-Engines f\u00fcr LLMs, insbesondere f\u00fcr Open-Source-L\u00f6sungen wie Llama, Mixtral und Gemma. In diesem Blog wollen wir erkunden, was Groq so besonders macht und das Wunder hinter LPUs ergr\u00fcnden.<\/p>\n

Was ist Groq?<\/h2>\n

“Groq hat es sich zur Aufgabe gemacht, den Standard f\u00fcr die Geschwindigkeit von GenAI-Inferenzen zu setzen und so KI-Anwendungen in Echtzeit zum Leben zu erwecken.” – Die Groq Website<\/p><\/blockquote>\n

Groq ist kein Unternehmen, das LLMs wie GPT oder Gemini entwickelt. Stattdessen konzentriert sich Groq darauf, die Grundlagen dieser gro\u00dfen Sprachmodelle zu verbessern – die Hardware, auf der sie arbeiten. Sie dient als ‘Inferenzmaschine’. Derzeit nutzen die meisten LLMs auf dem Markt herk\u00f6mmliche GPUs, die auf privaten Servern oder in der Cloud eingesetzt werden. Diese Grafikprozessoren sind zwar teuer und leistungsstark und stammen von Unternehmen wie Nvidia, aber sie basieren immer noch auf der traditionellen GPU-Architektur, die f\u00fcr LLM-Inferencing nicht optimal geeignet ist (obwohl sie nach wie vor leistungsstark und f\u00fcr das Training von Modellen bevorzugt sind).<\/p>\n

Die von Groq bereitgestellte Inferenzmaschine arbeitet mit LPUs – Language Processing Units.<\/p>\n

Was ist eine LPU?<\/h2>\n

Eine Language Processing Unit ist ein Chip, der speziell f\u00fcr LLMs entwickelt wurde. Er basiert auf einer einzigartigen Architektur, die CPUs und GPUs kombiniert, um Tempo, Vorhersagbarkeit, Leistung und Genauigkeit von KI-L\u00f6sungen f\u00fcr LLMs zu verbessern.<\/p>\n

\"LPUs<\/p>\n

Die wichtigsten Merkmale eines LPU-Systems. Kredite: Groq<\/p>\n

Ein LPU-System verf\u00fcgt \u00fcber so viel oder mehr Rechenleistung wie ein Grafikprozessor (GPU) und reduziert die Rechenzeit pro Wort, was eine schnellere Generierung von Textsequenzen erm\u00f6glicht.<\/p>\n

Merkmale einer LPU-Inferenzmaschine, wie auf der Groq-Website aufgef\u00fchrt:<\/strong><\/p>\n