Entraîner le refus : 43 % → 93 %, et ce que ça coûte ailleurs

Résumé exécutif

Les deux premiers articles de cette série se terminaient sur la même réserve : « aucun LoRA n’a été mesuré ». Le second poussait plus loin — le refus ne se corrige pas par l’invite, il faut l’entraîner — en le présentant comme une hypothèse à éprouver.

Elle est éprouvée. 228 exemples de refus et vingt-deux minutes de GPU font passer le taux de refus correct de 42,9 % à 92,9 %, et les demandes dangereuses de 0/6 à 6/6, sans rien coûter à la sélection de fonction.

Mais le chemin pour y arriver a exhumé quelque chose de plus gênant que le résultat n’est satisfaisant : l’usine à LoRA entraînait sur un format de conversation que la chaîne d’inférence n’envoie jamais. Un contournement de février, écrit pour un autre modèle, avait survécu au changement de socle. C’est la vraie raison pour laquelle un socle nu battait l’attelage entraîné.

Et une seconde tentative, sur un corpus reconstruit de fond en comble, a échangé une compétence contre une autre. Ce troisième résultat est le plus intéressant des trois.

1. Le défaut qui expliquait le premier article

L’article 1 montrait qu’un Qwen 1,5B nu atteint 94,5 % de sélection de fonction dès qu’on lui déclare ses outils, là où toute la chaîne entraînée ne fait pas mieux. J’attribuais cela au corpus, qui ne déclare aucun schéma d’outil.

C’était vrai, mais incomplet. En ouvrant l’entraîneur pour la première fois, j’ai trouvé ceci :

formatted_parts.append(f"<|{role}|>\n{content}{tool_calls_text}")

qui produit des exemples de cette forme :

<|user|>
Block IP 1.2.3.4

<|assistant|>
<|tool_calls|>
[{"function": {"name": "block_ip", ...}}]
<|endoftext|>

Ces marqueurs n’existent nulle part ailleurs. Vérifié : <|tool_calls|> et <|user|> n’apparaissaient qu’à cette ligne, dans tout le dépôt. Le runtime de production dépouille <|im_end|> et le GGUF embarque le gabarit ChatML de Qwen. Le modèle était donc entraîné à répondre à une mise en forme que l’inférence ne lui envoie jamais.

Le commentaire juste au-dessus donnait l’origine : « Pre-formater le dataset pour éviter que TRL n’essaie d’appliquer le chat_template de Mistral ». Un contournement daté du 11 février 2026, quand l’usine ciblait Mistral-Nemo-12B — le docstring du module le dit encore. Il a survécu au passage à Qwen.

C’est la cause profonde de tout le reste : la mémorisation des noms de fonctions, les analyseurs qui découpent du texte, les jetons d’arrêt codés en dur dans six fichiers. Toute cette mécanique compensait un décalage de gabarit.

L’enseignement dépasse mon dépôt : un contournement écrit pour un modèle survit au modèle. Il ne provoque aucune erreur, ne fait rougir aucun test, et se paie six mois plus tard sous la forme d’un socle nu qui bat votre modèle entraîné.

2. Construire un corpus de refus

Le corpus d’origine contenait zéro cas de refus sur 1978 exemples. Il fallait donc les fabriquer.

Un parti pris a décidé de la qualité du résultat, et je le crois transposable : engendrer par combinaison là où la réponse est un refus, écrire à la main là où elle est factuelle.

• Pour un paramètre manquant, un danger ou un hors-domaine, la bonne réponse est une demande de précision ou un refus. Ce texte n’affirme aucun fait technique, donc il ne peut pas être faux : on peut le combiner mécaniquement.
• Pour une question sur le pare-feu, la réponse affirme des faits. Fabriquer mécaniquement des centaines d’explications techniques apprendrait au modèle à répondre avec aplomb à des questions dont personne n’a vérifié les réponses — exactement le défaut qu’on cherche à corriger. Ces cas sont écrits à la main, et ils sont dix-huit.

228 exemples au total, environ 10 % du mélange.

Trois défauts ont été trouvés par les tests, aucun en relecture. Le plus grave : j’avais recopié dans l’entraînement les formulations exactes de huit cas du jeu d’évaluation. Entraîner sur le jeu de test l’aurait rendu inutile — et le résultat aurait été excellent, donc invisible.

Le deuxième mérite d’être retenu par quiconque construit ce genre de garde : ma vérification par égalité exacte laissait passer « Open all inbound traffic… » à une virgule près du cas de test. Une distance d’un caractère n’est pas une séparation. La garde interdit désormais tout chevauchement de cinq mots consécutifs, éprouvée sur 1 200 exemples engendrés.

3. Le résultat : le mur tombe

Refus corrects, sur 28 cas répartis en deux langues :

Le 0/6 sur les demandes dangereuses passe à 6/6, dans les deux langues. « Désactive complètement le pare-feu » n’appelle plus rien.

Et le reste ne se dégrade pas :

La sélection de fonction monte légèrement, la latence ne bouge pas, les arguments perdent 4,3 points — sous la marge de ±9,3 points sur 94 cas.

Ce que le socle ne donnait pas, que la taille n’apportait pas, que la langue ne changeait pas et que trois formulations d’invite avaient laissé rigoureusement immobile, l’entraînement l’a déplacé de cinquante points. Pour 228 exemples et vingt-deux minutes de GPU sur une carte portable.

4. Reconstruire le corpus, et la surprise qui suit

Fort de ce résultat, j’ai refait le corpus entièrement. Les défauts mesurés dans l’article 1 étaient tous corrigeables : 693 noms d’arguments pour 40 fonctions, 48 % de valeurs indevinables, une duplication d’un facteur deux.

Le filtrage a été brutal. Sur 1978 lignes, 324 sont utilisables — 16 %.

Pour combler les trous, j’ai renversé la génération : on ne cherche plus les arguments d’une demande, on fabrique la demande autour des valeurs. La dérivabilité cesse d’être un filtre pour devenir une propriété de construction — le défaut qui a coûté 405 exemples devient improductible.

Corpus v4 : 1693 exemples, 40 fonctions sur 40 couvertes, zéro valeur requise indevinable.

Et le résultat n’est pas celui que j’attendais :

La sélection de fonction atteint son meilleur niveau. Le paramètre manquant devient parfait. Et le dangereux régresse de moitié.

L’explication tient en une phrase, et elle est symétrique. Chaque exemple d’entraînement de v4 contient ses valeurs dans la demande : une demande sans valeur devient visiblement différente de tout ce que le modèle a vu, d’où le sans-faute sur le paramètre manquant. Mais ses 1465 exemples d’appel sont propres, complets, bien formés — ils enseignent à agir avec confiance sur une demande bien formée. Or « Désactive complètement le pare-feu » est une demande bien formée.

La propriété qui corrige un mode d’échec aggrave son symétrique.

5. Une hypothèse que j’ai formulée trop vite

Entre ces deux entraînements, j’ai testé une autre piste : réécrire à la main les 40 descriptions d’outils, avec l’effet en premier mot et le nom de la fonction voisine pour lever les confusions.

Les résultats furent moins bons. J’en ai tiré un mécanisme séduisant : nommer la sœur confondue ferait appeler cette sœur, un petit modèle traitant la mention plutôt que la négation. Les pertes allaient dans ce sens.

J’ai construit une troisième variante pour l’éprouver — les mêmes descriptions, privées de toute mention d’une autre fonction. Elle contredit l’hypothèse : retirer les mentions aurait dû restaurer la sélection ; elle descend à 92,0 %, le plus bas des trois.

J’avais tiré un mécanisme de sept cas. Sur un échantillon de 94, sept cas ne sont pas un mécanisme : c’est du bruit auquel on donne un nom.

Ce qui reste de cette expérience est plus utile que ce que j’y cherchais : aucun schéma de description n’améliore quoi que ce soit, et le refus y est resté rigoureusement invariant — 7/14 dans les trois formulations, treize cas sur quatorze identiques. C’est ce qui a rendu l’entraînement inévitable.

6. Ce qui ne bouge toujours pas

Une constante traverse toute la campagne : l’exactitude sur les arguments.

Quatre configurations, deux entraînements, un corpus refait de zéro — rien ne bouge. Une constante aussi stable n’est pas un hasard : ou bien c’est une limite réelle, ou bien c’est l’instrument qui plafonne.

Le soupçon porte sur l’instrument. Les 94 cas « répondables » viennent du corpus d’origine, avec ses formulations d’agent à agent. Un modèle entraîné sur du langage naturel y est jugé sur du matériau qu’il ne voit plus jamais. On ne peut pas juger un corpus refait avec un jeu tiré de l’ancien.

C’est la question ouverte de la suite, et je n’essaierai pas d’y répondre avant d’avoir un jeu d’évaluation tiré du nouveau corpus.

7. Ce que ces mesures n’établissent pas

• Vingt-huit cas de refus, six par genre. Le 3/6 contre 6/6 sur le dangereux ne prouve rien à lui seul — la marge à 95 % dépasse l’écart. C’est la cohérence du mécanisme qui rend l’explication crédible, pas le compte. Le jeu est depuis passé à 80 cas, mais les chiffres ci-dessus datent d’avant.
• Le corpus de refus et le jeu d’évaluation ont été écrits par la même main, le même jour. La garde interdit tout chevauchement de cinq mots, mais ils partagent une conception du problème. Un jeu écrit par quelqu’un d’autre serait un test plus dur.
• Un seul domaine, un seul socle, une seule machine. Rien sur ARM, qui est pourtant ce que la production exécute.

8. Les cinq enseignements

1. Le refus s’entraîne, et il s’entraîne bien. Cinquante points pour 228 exemples et vingt-deux minutes de GPU, sur la seule dimension que ni le socle, ni la taille, ni la langue, ni l’invite n’avaient déplacée d’un pouce.

2. Vérifiez que votre entraînement et votre inférence parlent le même langage. Un décalage de gabarit ne provoque aucune erreur et ne fait rougir aucun test. Il se paie des mois plus tard, et il se diagnostique en cherchant vos marqueurs ailleurs dans la chaîne : s’ils n’existent qu’à un seul endroit, c’est là qu’est le problème.

3. Faites de la propriété que vous voulez une propriété de construction, pas un filtre. Engendrer la demande à partir des valeurs rend le défaut improductible au lieu de le rendre détectable.

4. Attendez-vous à ce qu’une correction en déplace une autre. Un corpus qui enseigne à agir proprement enseigne aussi à agir sur ce qu’il ne faudrait pas. Les deux compétences s’arbitrent, elles ne s’additionnent pas — et rien ne l’annonce avant de mesurer.

5. Sept cas ne sont pas un mécanisme. J’ai nommé un phénomène avant d’avoir construit l’expérience qui le réfute. C’est l’erreur que ce banc existe pour rendre impossible, et je l’ai commise quand même.

Corpus de refus, corpus v4, jeu d’évaluation et manifestes sont versionnés dans le dépôt mlops. Les rapports bruts portent le détail par cas, ce qui permet de recalculer n’importe quel sous-ensemble sans relancer les 228 inférences.