Groq : puce LPU, GroqCloud, API d'inférence et usages en entreprise

Groq est une entreprise qui conçoit des puces et exploite un cloud pour l'inférence des modèles d'IA. Elle ne rivalise pas avec OpenAI ou Anthropic sur la création de modèles de pointe : elle sert des modèles ouverts publiés par d'autres, très rapidement, grâce à sa propre puce, la LPU. Pour une équipe, cela revient à appeler un LLM ouvert par API en attendant moins longtemps la réponse.

L'entreprise est fondée en 2016 en Californie par Jonathan Ross, ingénieur passé par Google où il a participé à la conception des premières TPU. Son idée est de repartir d'une architecture pensée pour exécuter des modèles, avec un fonctionnement prévisible plutôt qu'un partage dynamique des ressources. Elle lance ensuite GroqCloud, qui rend cette puce accessible par API, et attire des millions de développeurs grâce à une offre gratuite. Fin 2025, elle signe avec NVIDIA un accord de licence non exclusif sur sa technologie d'inférence, et plusieurs dirigeants, dont Jonathan Ross, rejoignent NVIDIA. Groq indique rester indépendante, avec Simon Edwards comme directeur général, et poursuit GroqCloud. Elle a levé 650 millions de dollars en juin 2026 pour étendre ses centres de données.

Dans l'écosystème, Groq occupe la couche d'inférence, entre les laboratoires qui publient des poids ouverts, comme Meta AI ou Qwen, et les entreprises qui veulent les utiliser. Ses concurrents sont les fournisseurs d'inférence de modèles ouverts, comme Together AI ou Fireworks AI, et les concepteurs de puces d'IA.

Pour un apprenant, Groq est souvent le premier contact avec une API de modèle ouvert : on crée une clé gratuite, on réutilise un client compatible OpenAI, puis on construit un prototype d'agent ou de RAG. Ce confort ne dispense pas d'évaluer la qualité des réponses sur ses propres données.

À retenir : Groq n'est pas un laboratoire de modèles mais un concepteur de puces et un cloud d'inférence. La question utile est de savoir si la vitesse de réponse justifie un catalogue plus restreint.

L'offre se lit comme un parcours : tester un modèle gratuitement, passer en facturation à l'usage, puis réserver de la capacité si la production l'exige.

Ce découpage compte pour le budget. L'inférence se facture au token et suit l'usage, ce qui convient au démarrage. Quand le trafic devient régulier, le coût d'une API se compare à celui d'un modèle hébergé, un arbitrage détaillé dans l'article FinOps des LLM : API vs self-hosting.

Comment choisir un modèle sur GroqCloud ?

Commencer par un modèle de taille moyenne pour mesurer la qualité sur ses propres données, puis tester un modèle plus grand si le résultat est insuffisant. Le catalogue se décrit par familles (Llama, Qwen, GPT-OSS) et change régulièrement : relire la liste de modèles avant chaque projet. Les critères de sélection sont détaillés dans l'article LLM : savoir lequel choisir.

La question de fond n'est pas l'ouverture du code mais l'architecture, car c'est elle qui explique la vitesse annoncée.

• Le GPU est un processeur généraliste, conçu à l'origine pour le graphisme puis adapté à l'entraînement et à l'inférence. Son ordonnancement dynamique est souple, mais introduit une variabilité de latence.
• La LPU est conçue pour exécuter les modèles de type Transformer avec un calendrier d'exécution fixé à l'avance par le compilateur, ce qui rend le temps de réponse plus prévisible.
• Les modèles servis restent ouverts, avec leurs propres licences : héberger un modèle chez Groq ne le rend ni plus ni moins ouvert.
• La plateforme est un service commercial et propriétaire, comme son matériel et son compilateur.

Cette spécialisation a un coût : une puce pensée pour l'inférence ne sert pas à entraîner un modèle, et son catalogue dépend des modèles que Groq choisit d'optimiser. L'avantage de portabilité demeure, puisque le même modèle ouvert peut être servi par un autre fournisseur ou hébergé en interne avec vLLM, à condition d'accepter une performance différente.

À retenir : la vitesse de Groq vient de l'architecture de sa puce, pas d'un modèle exclusif. Avant tout usage commercial, lisez la licence de chaque modèle choisi.

La comparaison est fréquente, car les deux donnent accès à des modèles ouverts par une API compatible OpenAI, et sont souvent testés côte à côte pour un même projet.

Lequel choisir ? Groq convient quand la latence est un critère de l'expérience, par exemple pour un assistant conversationnel ou une boucle d'agent, et pour prototyper gratuitement. Together AI s'impose quand il faut fine-tuner, choisir parmi un grand nombre de modèles ou louer des GPU. Les deux se combinent : on prototype sur l'un, on compare sur l'autre, puis on tranche sur la qualité mesurée, le coût et la conformité. Pour exécuter un modèle sur un poste, Ollama reste l'option la plus légère.