NOPE LinkedIn

Articles dans Phi-3...

Changer de Base : Migrer ses Agents LoRA de Phi-3.5 vers Qwen2.5-3B
Agents en Production · N°1

Changer de Base : Migrer ses Agents LoRA de Phi-3.5 vers Qwen2.5-3B

Dans la série LoRA Factory, nous avons construit une usine à agents spécialisés sur Phi-3.5-mini-instruct. Trois agents (OPNsense, WireGuard, CrowdSec), trois adapters LoRA, un pipeline d’entraînement automatisé. Tout fonctionnait — jusqu’à ce que les limites du modèle de base se manifestent en production. Ce premier article de la série Agents en Production documente pourquoi et comment nous avons migré vers Qwen2.5-3B-Instruct. Pourquoi changer de modèle de base ? Phi-3.5-mini est un excellent modèle compact.

LoRA
Loss Correcte, Vérification à 0% : Le Bug Silencieux du Format de Prompt
Agents en Production · N°2

Loss Correcte, Vérification à 0% : Le Bug Silencieux du Format de Prompt

C’est le type de bug qu’on ne voit pas venir. L’entraînement se termine normalement. La loss finale est bonne — 0.2532 pour OPNsense, comparable aux runs précédents. Pas d’anomalie dans les courbes. Le modèle a convergé. Puis on lance la vérification fonctionnelle. Et le score tombe à zéro. Score : 0/102 (0%) ❌ ADAPTATEUR NON VALIDÉ L’investigation La première réaction est de chercher un bug dans le script de vérification. On inspecte le chargement du modèle, l’application de l’adapter, le décodage.

LoRA