Taalas HC1 : quand on imprime un LLM directement sur une puce

Le 19 février, une startup de Toronto appelée Taalas a présenté quelque chose d'inédit : une puce qui contient un modèle de langage complet gravé dans ses transistors. Pas chargé depuis la mémoire au moment de l'inférence. Pas mis en cache dans de la HBM. Inscrit en dur dans le silicium, comme la logique arithmétique d'une calculatrice est inscrite dans son circuit.

Le modèle : Llama 3.1 8B de Meta. La puce : le HC1. Les chiffres annoncés, s'ils résistent à un examen indépendant, changent fondamentalement l'économie de l'inférence locale.

Ce qu'ils ont construit

Le HC1 est un ASIC structuré fabriqué par TSMC en procédé 6 nm : 815 mm² de silicium, 53 milliards de transistors. Physiquement, c'est à peu près la taille du H100 de NVIDIA. La comparaison s'arrête là. Le H100 est un GPU généraliste qui fait des allers-retours entre la mémoire HBM et les unités de calcul. Le HC1 stocke les poids du modèle directement dans ses transistors via du mask-ROM, ce que Taalas appelle un "recall fabric." Pas besoin de HBM, de packaging 3D ou de refroidissement liquide.

Résultat : une carte PCIe qui consomme environ 250 W et génère environ 17 000 tokens par seconde par utilisateur en contexte 1k/1k. En face : Cerebras tourne à 2 000 tokens/s sur le même modèle, Groq à 609, un NVIDIA H200 à environ 230. On peut tester directement sur chatjimmy.ai. La réponse arrive d'un bloc, comme si le texte était déjà écrit.

La puce utilise une quantification agressive : un format propriétaire 3 bits combiné à des paramètres 6 bits. Une petite SRAM embarquée gère le cache KV et les poids LoRA, ce qui permet d'ajuster le comportement du modèle sans fabriquer une nouvelle puce. La taille de la fenêtre de contexte est configurable.

À l'origine du projet : Ljubisa Bajic, fondateur de Tenstorrent, passé par AMD et NVIDIA sur la conception d'architectures hybrides CPU-GPU. Son cofondateur Drago Ignjatovic dirigeait la division ASIC chez AMD. L'équipe compte 24 ingénieurs, venus principalement d'AMD, Apple, Google, NVIDIA et Tenstorrent. Ils ont dépensé 30 millions sur plus de 200 millions de dollars levés pour amener le HC1 au stade de silicium fonctionnel.

Quand le coût d'inférence rejoint la facture d'électricité

Taalas annonce un coût d'inférence de 0,75 centime par million de tokens pour Llama 3.1 8B. Cerebras facture environ 10 centimes pour le même modèle, soit 13 fois plus. L'inférence cloud sur GPU NVIDIA oscille entre 20 et 50 centimes selon le fournisseur.

À 0,75 centime, le coût d'inférence approche celui de l'électricité consommée. L'écart entre cloud et auto-hébergement ne se réduit plus : il s'effondre.

Dix cartes HC1 tiennent dans un serveur standard refroidi par air à 2,5 kW. Pas de circuit de refroidissement liquide, pas d'infrastructure datacenter spécialisée. Un seul rack 42U pourrait servir des milliers d'utilisateurs simultanés sur un modèle qui nécessite encore un GPU dédié pour tourner à un débit correct sur du matériel classique.

Pour toute organisation qui fait de l'inférence à grande échelle (chatbots de support, traitement documentaire, assistants internes) le calcul passe de "API cloud ou rien" à "on achète les cartes."

L'usine tient dans un slot PCIe

Il y a une phrase de Le SamourAI que je garde en tête : "il n'y a pas de nuage, il n'y a que des usines." Chaque appel API vers OpenAI, Anthropic ou Google transite par du matériel physique, dans un bâtiment physique, chez quelqu'un d'autre. Vos données passent par son réseau, tournent sur son silicium. Vous payez au token.

Le HC1 fait tenir cette usine dans un slot de carte.

Une entreprise qui fait tourner un chatbot sur Llama 3.1 8B via API paie au token et envoie chaque interaction client chez un tiers. La même entreprise pourrait insérer un HC1 dans un serveur existant, garder toutes les données sur site et diviser les coûts d'inférence par 20. Le contrat cloud disparaît, le DPA devient sans objet, la latence se réduit à celle du bus PCIe.

À l'échelle nationale, c'est encore plus significatif. Les gouvernements qui construisent des capacités IA souveraines sont aujourd'hui coincés entre l'achat massif de GPU (coûteux, soumis aux restrictions d'export, gourmand en énergie) et la dépendance aux fournisseurs cloud américains. Une carte PCIe qui fait tourner un modèle utile à 250 W dans du matériel serveur standard change ce calcul. Pas pour la recherche de pointe : l'entraînement exige toujours des clusters de H100. Mais pour le déploiement et l'inférence, là où la majorité des budgets IA partent réellement.

Les limites à prendre au sérieux

Le HC1 impressionne comme démonstrateur technologique. Comme produit, il a des contraintes qu'il faut examiner honnêtement.

Le plus évident : le verrouillage sur un modèle unique. La puce fait tourner Llama 3.1 8B, rien d'autre. Quand Meta sortira Llama 4, le HC1 ne se met pas à jour. Il faut une nouvelle puce. Taalas annonce un délai de deux mois entre les poids d'un modèle et une carte PCIe fonctionnelle grâce à son partenariat TSMC. C'est rapide pour du silicium mais ça signifie un retard permanent de deux mois sur les dernières sorties. Le fine-tuning LoRA offre une certaine flexibilité. Le modèle de base reste tout de même figé dans le silicium au sens littéral.

Côté qualité, la quantification 3 bits dégrade visiblement les réponses par rapport au même modèle en précision supérieure sur GPU. Taalas annonce que le HC2 passera à du virgule flottante 4 bits standardisé. Reste à le vérifier.

Et c'est un modèle 8B. Llama 3.1 8B est utile en production pour beaucoup de tâches. Sauf que ça tourne sur un Raspberry Pi 5. La vraie question : est-ce que l'approche passe à l'échelle pour des modèles frontière ? Taalas promet HC2 pour des modèles plus grands d'ici l'hiver 2026, avec un modèle de raisonnement de taille moyenne attendu sur HC1 au printemps. Tant que ça n'existe pas, la contrainte 8B limite les cas d'usage où le HC1 surpasse réellement un GPU bien configuré.

Autre point : aucun benchmark indépendant n'existe pour le moment. Tous les chiffres de performance viennent de Taalas. L'une des rares analyses publiques détaillées a été rédigée par un prestataire rémunéré par Taalas (déclaré, à son crédit). La démo chatjimmy.ai est réelle et visiblement rapide. Reste qu'une démo contrôlée n'est pas un workload de production.

Enfin, la concurrence bouge. NVIDIA a licencié la technologie LPU de Groq en décembre 2025 et absorbé une grande partie de leur équipe de conception. Quand NVIDIA décidera de se battre sur l'efficacité d'inférence plutôt que sur le débit d'entraînement, une startup de 24 personnes à Toronto fera face à un autre type de combat.

Ce qui se passe quand l'inférence devient bon marché

Prenons le scénario optimiste. Le HC2 sort dans les temps. Des modèles frontière sont gravés sur des cartes PCIe accessibles. Les coûts d'inférence chutent de 20x.

La suite est prévisible, parce qu'on a déjà vu ce schéma. William Stanley Jevons a observé en 1865 que les machines à vapeur plus efficaces n'ont pas réduit la consommation de charbon. Elles ont rendu la vapeur assez bon marché pour se déployer partout. La consommation totale a explosé.

De l'inférence moins chère produit plus d'inférence. Plus d'inférence signifie plus d'agents, qui traitent plus de tâches sur plus de données et plus de machines. Toutes les entreprises qui ne pouvaient pas justifier le coût d'un modèle local le peuvent soudainement. Chaque dispositif en périphérie de réseau qui ne pouvait pas embarquer un modèle utile en fait maintenant tourner un à 17 000 tokens par seconde.

C'est du progrès. Mais du progrès à cette vitesse crée un vide de gouvernance. Quand on peut ajouter de la capacité d'inférence en branchant une carte, le goulet d'étranglement passe de "a-t-on les moyens de faire tourner des modèles ?" à "sait-on ce que nos modèles font ?" Les organisations qui ont mis en place une gouvernance des agents avant que l'inférence devienne bon marché seront prêtes. Les autres devront auditer dans l'urgence des systèmes qui se sont multipliés du jour au lendemain.

Je construis de l'infrastructure IA auto-hébergée au quotidien. Le HC1 m'intéresse parce qu'il confirme ce sur quoi je mise : l'inférence appartient à ceux qui la font tourner, sur leur propre matériel, avec leurs données qui restent exactement là où ils les ont mises. Le HC1 est la version un d'une approche très jeune. Ce ne sera peut-être pas Taalas qui livrera le produit final. Mais l'inférence migre du cloud vers le rack, puis vers la périphérie. La question pour chaque organisation : est-ce que sa gouvernance sera prête quand ça arrivera ?