Groq, une entreprise qui a créé du matériel personnalisé conçu pour exécuter des modèles de langage d’IA, a pour mission de fournir une IA plus rapide – 75 fois plus rapide que ce qu’un humain moyen peut taper pour être précis.

La vitesse est très importante lorsqu’il s’agit d’utiliser l’IA. Lorsque vous discutez avec un chatbot IA, vous souhaitez que ces informations soient transmises en temps réel. Si vous lui demandez de rédiger un e-mail, vous souhaitez obtenir les résultats en quelques secondes afin de pouvoir l'envoyer et passer à la tâche suivante.

Groq (à ne pas confondre avec le chatbot Grok d'Elon Musk – et non, ils ne sont pas très satisfaits des noms similaires) se spécialise dans le développement de processeurs et de solutions logicielles hautes performances pour l'IA, l'apprentissage automatique (ML) et les applications informatiques hautes performances. .

Ainsi, même si la société basée à Mountain View ne forme pas (actuellement) ses propres modèles de langage d’IA, elle peut faire fonctionner très rapidement ceux développés par d’autres.

Comment y parvient-il ?

Groq utilise un matériel différent de celui de ses concurrents. Et le matériel qu’ils utilisent a été conçu pour les logiciels qu’ils exécutent, et non l’inverse.

Ils ont construit des puces qu'ils appellent unités de traitement du langage (LPU), conçues pour fonctionner avec des modes de langage étendus (LLM). D'autres outils d'IA utilisent généralement des unités de traitement graphique (GPU) qui, comme leur nom l'indique, sont optimisées pour le traitement graphique parallèle.

Même si elles utilisent des chatbots, les sociétés d'IA utilisent des GPU car ils peuvent effectuer des calculs techniques rapidement et sont généralement assez efficaces. S'appuyant sur l'exemple des chatbots, les LLM tels que GPT-3 (l'un des modèles utilisés par ChatGPT) fonctionnent en analysant les invites et en créant du texte pour vous en fonction d'une série de prédictions sur le mot suivant qui doit suivre celui qui le précède.

Étant donné que les LMU de Groq sont spécialement conçues pour traiter des séquences de données (pensez à l'ADN, à la musique, au code, au langage naturel), elles fonctionnent bien mieux que les GPU. La société affirme que ses utilisateurs utilisent déjà son moteur et son API pour exécuter des LLM à des vitesses jusqu'à 10 fois plus rapides que les alternatives basées sur GPU.

Essaye le

Vous pouvez l'essayer par vous-même gratuitement et sans installer de logiciel ici en utilisant des invites textuelles régulières.

Groq exécute actuellement Llama 2 (créé par Meta), Mixtral-8x7b et Mistral 7B.

Sur XTom Ellis, qui travaille chez Groq, a déclaré que des modèles personnalisés étaient en préparation mais qu'ils se concentraient pour l'instant sur la création de leurs offres de modèles open source.