Et si les petits modèles suffisaient ?

Mistral a sorti Small 3.1 en mars 2025. 24 milliards de paramètres, un seul GPU, des résultats qui battent GPT-4o Mini sur la plupart des évaluations. La famille Qwen d'Alibaba continue de gagner en adoption. Pour une liste croissante de cas réels, les LLMs compacts égalent ou dépassent les géants pour une fraction du prix.

Je déploie ce type de solutions en production depuis des mois. Voici ce que j'ai appris sur quand ils suffisent vraiment, et quand non.

C'est quoi, un "petit" modèle ?

La définition bouge sans arrêt. Il y a quelques années, 7 milliards de paramètres c'était la norme. Aujourd'hui, "petit" couvre à peu près la plage de 3B à 30B. Ceux dont je parle :

Mistral Small 3.1 (24B paramètres) : multilingue, fenêtre de contexte de 128K tokens, tourne sur un seul GPU NVIDIA RTX 4090 ou un Mac avec 32 Go de RAM. Surpasse GPT-4o Mini et Claude Haiku 4.5 sur plusieurs tests.

La série Qwen 3 (0,6B à 235B MoE) : la dernière famille open-weight d'Alibaba avec raisonnement hybride et de solides performances multilingues. Le variant 8B a un mode de réflexion. Licence Apache 2.0.

Gemma 3 (1B à 27B) : la dernière famille compacte de Google, basée sur la technologie Gemini 2.0. Multimodale, 128K de contexte, 140+ langues, conçue pour le déploiement embarqué et en edge.

Ce ne sont pas des jouets. Ils gèrent des charges de production avec des résultats qui auraient semblé impossibles à cette échelle il y a un an.

Les maths du coût

Prenons un scénario concret. Tu traites 100 000 conversations de support client par mois à travers un LLM pour la classification et le routage.

Avec un frontier comme GPT-5 ou Claude Opus 4 via API, comptez des milliers d'euros par mois selon la longueur et la complexité des échanges.

Avec Mistral Small 3.1 sur ton propre matériel, la dépense c'est le GPU lui-même : environ 1 800 € à l'achat pour une 4090, ou 180 €/mois sur une instance cloud. Après ça, l'inférence est essentiellement gratuite. Traite un million ou dix millions de conversations, même facture.

Ce n'est pas une amélioration marginale. C'est une structure de prix différente. Pour les cas d'usage à haut volume et complexité modérée, l'économie de l'auto-hébergement écrase l'approche "API pour tout".

Là où les compacts rivalisent avec les géants

Après des mois de tests, j'ai identifié des catégories claires où les LLMs compacts tiennent la route.

La classification et le routage de texte, c'est le cas le plus net. Trier des emails par urgence, catégoriser des tickets de support, détecter l'intention dans les messages. Un 7B fine-tuné sur tes données bat un frontier générique sur ces exercices. Pas parce qu'il est plus intelligent. Parce qu'il est spécialisé.

L'extraction de données structurées marche bien aussi : récupérer des noms et des montants depuis du texte libre, c'est du pattern matching, et les compacts le font bien. Le résumé de contenu de longueur moyenne (articles, comptes rendus, documentation) donne des résultats propres, difficiles à distinguer de ceux des plus grands modèles.

La traduction pour les paires courantes (anglais-français, anglais-espagnol) reste solide : l'écart entre un 24B bien entraîné et un 175B+ est négligeable pour du contenu business. Même chose pour la génération de code sur des patterns courants comme le CRUD ou les endpoints d'API. Pas besoin d'un modèle brillant. Juste besoin qu'il connaisse les patterns.

Là où ils décrochent

Ces LLMs ont de vraies limites, et l'honnêteté compte plus que le battage.

Chaînes de raisonnement complexes. Problèmes de logique en plusieurs étapes, preuves mathématiques, tout ce qui demande de maintenir la cohérence sur de longues séquences d'analyse. C'est là que le nombre de paramètres, et maintenant le raisonnement étendu, compte vraiment.

Rappel de connaissances larges. Si tu as besoin de retrouver des faits historiques obscurs, des spécifications techniques de niche, ou des sujets rarement traités, les plus grands ont simplement plus de savoirs intégrés.

Écriture créative subtile. Il y a un écart de subtilité. Les compacts produisent du texte correct mais peinent avec la voix, l'humour, le type de prose qui semble vraiment humaine. Pour du contenu client qui a besoin de personnalité, les plus grands gagnent encore.

Analyse de long contexte. Mistral Small 3.1 supporte 128K tokens sur le papier. Mais la performance réelle sur des questions qui demandent une compréhension profonde de très longs documents favorise encore les plus grands. La fenêtre existe, la qualité d'attention se dégrade aux extrémités.

L'argument vie privée est sous-estimé

Voici ce qui n'apparaît jamais dans les comparaisons de résultats mais qui compte énormément en pratique : les données restent sur ton infrastructure.

Quand tu héberges un LLM compact en local, tes données clients ne quittent jamais ton réseau. Aucun appel API vers des tiers, aucun accord de traitement à négocier, aucun risque de fuite. La conformité RGPD se fait par design plutôt que par contrat.

Pour la santé, la finance, le juridique, ou pour les entreprises européennes sérieuses sur la souveraineté, ça seul peut justifier le choix même quand un frontier performerait légèrement mieux. La charge de conformité liée aux API externes finit souvent par coûter plus cher que l'amélioration marginale de qualité.

J'ai aidé des clients à migrer de solutions basées sur des API vers de l'auto-hébergement précisément pour cette raison. La performance était comparable. La charge de conformité a chuté.

L'approche hybride

La stratégie la plus intelligente n'est ni "compact pour tout" ni "frontier pour tout". C'est adapter la taille à la difficulté.

Voici comment je structure ça pour les projets d'intégration de LLMs.

Le niveau 1, compact auto-hébergé, prend le gros du volume : classification, extraction, Q&A simple sur une base de connaissances, traduction, templates de code.

Le niveau 2, taille moyenne en API ou auto-hébergé, couvre le chat généraliste, la génération de contenu, le raisonnement modéré, l'analyse de documents.

Le niveau 3, frontier via API, prend le raisonnement complexe, le créatif exigeant de la nuance, et les cas où la précision est critique mais le volume faible.

Une couche de routage évalue les requêtes entrantes et les envoie au bon niveau. La plupart, souvent 70 à 80%, atterrissent au niveau 1. Tes coûts restent bas. La qualité reste haute là où ça compte.

Comment démarrer

Si tu n'as jamais essayé d'exécuter un LLM compact en local, voici l'expérience minimum viable.

Choisis Mistral Small 3.1 si tu veux du multilingue et de bonnes performances générales, ou Qwen 3 8B si tu veux la vitesse maximale sur du matériel modeste. Ollama est le chemin le plus facile pour tester en local : télécharge, tire une image, lance-la. Cinq minutes avant la première inférence.

Teste ensuite sur tes vrais cas, pas sur des benchmarks génériques. Prends 50 inputs réels de ta charge de production et compare les sorties côte à côte avec le frontier que tu utilises actuellement. Mesure la qualité, mais aussi la latence, le prix par requête et les implications vie privée. La vue d'ensemble favorise souvent les compacts plus que la comparaison sur la seule qualité.

Si le LLM compact gère 80% de ta charge de travail pour 5% du budget, tu viens de trouver une optimisation significative. Même en gardant le frontier pour les 20% restants.

Où ça va

La tendance est nette. Les compacts progressent plus vite que les géants ne baissent en prix. Tous les quelques mois, une nouvelle version repousse le plancher de capacité vers le haut. Ce qui demandait 70B paramètres il y a un an en demande 24B aujourd'hui. Ce qui demande 24B aujourd'hui pourrait en demander 7B dans un an.

Les frontiers ne deviennent pas inutiles pour autant. L'éventail de cas où tu en as besoin se réduit. Planifie ton architecture en conséquence.

David et Goliath

David vs Goliath

Pour aller plus loin sur l'auto-hébergement, c'est par ici. Et si tu cherches à intégrer des LLMs dans tes systèmes, j'en parle dans intégration LLM.