Et si les petits modèles suffisaient ?

Mistral a sorti Small 3.1 en mars 2025. 24 milliards de paramètres, un seul GPU et des résultats qui battent GPT-4o Mini sur la plupart des évaluations. La famille Qwen d'Alibaba continue de gagner en adoption. Le constat est clair : pour une liste croissante de cas réels, les LLMs compacts égalent ou dépassent les géants pour une fraction du prix.

Je déploie ce type de solutions en production depuis des mois. Voici ce que j'ai appris sur quand ils suffisent vraiment et quand non.

Qu'est-ce qu'un "petit" modèle ?

La définition bouge sans arrêt. Il y a quelques années, 7 milliards de paramètres c'était la norme. Aujourd'hui, "petit" couvre à peu près la plage de 3B à 30B. Ceux dont je parle :

Mistral Small 3.1 (24B paramètres) : multilingue, fenêtre de contexte de 128K tokens, tourne sur un seul GPU NVIDIA RTX 4090 ou un Mac avec 32 Go de RAM. Surpasse GPT-4o Mini et Claude Haiku 4.5 sur plusieurs tests.

La série Qwen 3 (0,6B à 235B MoE) : la dernière famille open-weight d'Alibaba avec raisonnement hybride et de solides performances multilingues. Le variant 8B a un mode de réflexion. Licence Apache 2.0.

Gemma 3 (1B à 27B) : la dernière famille compacte de Google, basée sur la technologie Gemini 2.0. Multimodale, 128K de contexte, 140+ langues, conçue pour le déploiement embarqué et en edge.

Ce ne sont pas des jouets. Ils gèrent des charges de production avec des résultats qui auraient semblé impossibles à cette échelle il y a un an.

Les maths du coût sont implacables

Prenons un scénario concret. Disons que vous traitez 100 000 conversations de support client par mois à travers un LLM pour la classification et le routage.

Avec un frontier comme GPT-5 ou Claude Opus 4 via API, comptez des milliers d'euros par mois selon la longueur et la complexité des échanges.

Avec Mistral Small 3.1 sur votre propre matériel, la dépense c'est le GPU lui-même : environ 1 800 € à l'achat pour une 4090 ou 180 €/mois sur une instance cloud. Après ça, l'inférence est essentiellement gratuite. Traitez un million ou dix millions de conversations, même facture.

Ce n'est pas une amélioration marginale. C'est une structure de prix complètement différente. Pour les cas d'usage à haut volume et complexité modérée, l'économie de l'auto-hébergement est dévastatrice face à l'approche "API pour tout".

Là où les compacts rivalisent avec les géants

Après des mois de tests, j'ai identifié des catégories claires où les LLMs compacts tiennent la route :

La classification et le routage de texte, d'abord. Trier des emails par urgence, catégoriser des tickets de support, détecter l'intention dans les messages. Un 7B fine-tuné sur vos données battra un frontier générique sur ces exercices. Pas parce qu'il est plus intelligent : parce qu'il est spécialisé.

L'extraction de données structurées aussi : récupérer des noms, dates, montants depuis du texte libre. C'est du pattern matching et les compacts le font bien. Pareil pour le résumé de contenu de longueur moyenne (articles, comptes rendus, documentation) : les résumés sont propres, difficiles à distinguer de ceux des plus grands.

La traduction pour les paires courantes (anglais-français, anglais-espagnol) reste solide : l'écart entre un 24B bien entraîné et un 175B+ est négligeable pour du contenu business. Et pour la génération de code sur des patterns courants (CRUD, endpoints d'API, transformations de données), pas besoin d'un modèle brillant. Il faut juste connaître les patterns.

Là où ils décrochent

L'honnêteté compte plus que le battage. Ces LLMs ont de vraies limites.

Chaînes de raisonnement complexes. Problèmes de logique en plusieurs étapes, preuves mathématiques, exercices qui demandent de maintenir la cohérence sur de longues séquences d'analyse. C'est là que le nombre de paramètres (et maintenant le raisonnement étendu) compte vraiment.

Rappel de connaissances larges. Si vous avez besoin de retrouver des faits historiques obscurs, des spécifications techniques de niche ou des sujets rarement traités, les plus grands ont simplement plus de savoirs intégrés.

Écriture créative nuancée. Il y a un écart de subtilité. Les compacts produisent du texte correct mais peinent avec la voix, l'humour et le type de prose qui semble vraiment humaine. Pour du contenu client qui a besoin de personnalité, les plus grands gagnent encore.

Analyse de long contexte. Oui, Mistral Small 3.1 supporte 128K tokens, mais la performance réelle sur des questions qui demandent une compréhension profonde de très longs documents favorise encore les plus grands. La fenêtre de contexte existe, la qualité d'attention se dégrade aux extrémités.

L'argument vie privée est sous-estimé

Voici quelque chose qui n'apparaît pas dans les comparaisons de résultats mais qui compte énormément en pratique : les données restent sur votre infrastructure.

Quand vous hébergez un LLM compact en local, vos données clients ne quittent jamais votre réseau. Aucun appel API vers des tiers, aucun accord de traitement à négocier, aucun risque de fuite. La conformité RGPD se fait par design plutôt que par contrat.

Pour les secteurs comme la santé, la finance et le juridique (ou pour les entreprises européennes sérieuses sur la souveraineté), ça seul peut justifier le choix même quand un frontier performerait légèrement mieux. La charge de conformité liée aux API externes finit souvent par coûter plus cher que l'amélioration marginale de qualité.

J'ai aidé des clients à migrer de solutions basées sur des API vers de l'auto-hébergement précisément pour cette raison. La performance était comparable. La charge de conformité a chuté de façon spectaculaire.

L'approche hybride

La stratégie la plus intelligente n'est ni "compact pour tout" ni "frontier pour tout". C'est adapter la taille à la difficulté.

Voici comment je structure ça pour les projets d'intégration de LLMs :

Niveau 1, compact auto-hébergé : classification, extraction, Q&A simple sur une base de connaissances, traduction, templates de code. Fort volume, cas bien définis.

Niveau 2, taille moyenne (API ou auto-hébergé) : chat généraliste, génération de contenu, raisonnement modéré, analyse de documents. Complexité variable.

Niveau 3, frontier via API : raisonnement complexe, créatif exigeant de la nuance, résolution de problèmes nouveaux, cas où la précision est critique et le volume faible.

Une couche de routage évalue les requêtes entrantes et les envoie au bon niveau. La plupart (souvent 70-80%) atterrissent au Niveau 1. Vos coûts restent bas. La qualité reste haute là où ça compte.

Comment démarrer

Si vous n'avez jamais essayé d'exécuter un LLM compact en local, voici l'expérience minimum viable :

Choisissez un candidat. Mistral Small 3.1 si vous voulez du multilingue et de bonnes performances générales. Qwen 3 8B si vous voulez la vitesse maximale sur du matériel modeste.

Choisissez un runtime. Ollama est le chemin le plus facile pour tester en local. Téléchargez, tirez une image, lancez-la. Cinq minutes avant la première inférence.

Testez sur vos vrais cas. Ne vous fiez pas aux tests génériques. Prenez 50 inputs réels de votre charge de production et comparez les sorties côte à côte avec le frontier que vous utilisez actuellement.

Mesurez ce qui compte. Pas juste la qualité, la latence, le prix par requête et les implications vie privée aussi. La vue d'ensemble favorise souvent les compacts plus que la comparaison uniquement sur la qualité.

Si le LLM compact gère 80% de votre charge de travail pour 5% du budget, vous venez de trouver une optimisation significative, même si vous gardez le frontier pour les 20% restants.

Où ça va

La tendance est claire. Les compacts progressent plus vite que les géants ne baissent en prix. Tous les quelques mois, une nouvelle version repousse le plancher de capacité vers le haut. Ce qui demandait 70B paramètres il y a un an en demande 24B aujourd'hui. Ce qui demande 24B aujourd'hui pourrait en demander 7B dans un an.

Ça ne veut pas dire que les frontiers deviennent inutiles. Ça veut dire que l'éventail de cas où vous en avez besoin se réduit. Planifiez votre architecture en conséquence.

David et Goliath

David vs Goliath

Pour aller plus loin sur l'auto-hébergement, c'est par ici. Et si vous cherchez à intégrer des LLMs dans vos systèmes, j'en parle dans intégration LLM.