Le RAG, sans la promesse magique.

IObjectif

Comprendre où se joue vraiment la qualité.

Un assistant RAG est d'abord un projet de documents et de recherche.

Quand une réponse est mauvaise, le modèle n'est pas toujours le premier suspect. Le bon passage peut être absent, mal découpé, inaccessible ou simplement introuvable.

Avant de changer de modèle, il faut donc suivre le chemin de l'information : identifier la source attendue, vérifier qu'elle est exploitable, puis contrôler qu'elle remonte au moment de la question. Cette fiche sert à diagnostiquer cette chaîne dans le bon ordre.

IIPrincipe

Le modèle écrit. La bibliothèque détermine ce qu'il peut savoir.

Un raccourci fréquent consiste à dire que l'assistant a été « entraîné sur les documents de l'entreprise ». Dans un système RAG, le mécanisme est différent : au moment de la question, un moteur cherche quelques extraits pertinents et les transmet au modèle comme contexte.

La réponse finale dépend donc de deux opérations distinctes. La recherche doit retrouver le bon passage. Ensuite seulement, le modèle doit l'interpréter sans dépasser ce que la source permet d'affirmer.

Une réponse fluide ne prouve rien si le bon passage n'a jamais été retrouvé.

IIIApproche

Construire la chaîne, maillon par maillon.

Le piège consiste à commencer par le modèle parce que c'est la partie la plus visible. Une démarche robuste commence par la qualité attendue et remonte progressivement jusqu'à la génération.

1. Fixe les critères avant la technique.

   Définis ce qu'est une réponse correcte, comment le système se comporte quand il ne sait pas, le délai acceptable et la part des demandes réellement résolues.

2. Traite les documents comme le vrai chantier.

   Inventorier, nettoyer, découper et maintenir les sources est une fonction produit. Ce n'est pas une tâche préparatoire que l'on termine une fois pour toutes.

3. Teste la recherche séparément.

   Avant d'évaluer la qualité de la prose, vérifie que le passage attendu est bien remonté. Sinon, le modèle travaille avec un contexte incomplet.

4. Décide tôt entre managé et maison.

   Une solution managée accélère le démarrage. Un pipeline maison offre davantage de contrôle. Changer d'approche en cours de route coûte souvent une refonte.

5. Branche une boucle de retour.

   Les documents et les questions évoluent. Sans mesure continue, l'assistant peut se dégrader sans que personne ne s'en aperçoive.

QUESTION TEST :
SOURCE ATTENDUE :
PASSAGE RETROUVÉ (oui / non) :
RÉPONSE VÉRIFIABLE :

IVWatch-outs

Reconnaître un produit, pas seulement une bonne démonstration.

Les signaux utiles ne sont pas les effets visuels de l'interface. Ils montrent que la fiabilité et la maintenance ont été pensées au-delà du premier test.

VInsight

VIProof of Work

Teste toute la chaîne avec une question connue.

Choisis une question dont tu connais déjà la réponse correcte et la source. Le but n'est pas de piéger le système, mais de rendre chaque maillon observable.