La promesse est séduisante : poser une question en français et obtenir la réponse tirée de votre documentation. Le risque l’est moins. Un modèle de langage produit toujours une réponse, y compris quand il n’en a pas, et il la formule avec le même aplomb dans les deux cas.
Un assistant qui invente une procédure de sécurité, un délai contractuel ou un tarif ne fait pas gagner du temps : il crée une dette de vérification sur chacune de ses réponses.
Le principe : ne jamais répondre de mémoire
La parade est architecturale. L’assistant ne doit pas répondre à partir de ce qu’il « sait », mais uniquement à partir d’extraits retrouvés dans vos documents au moment de la question. Le modèle sert à comprendre la question et à rédiger, pas à fournir le contenu.
Cette contrainte change tout : si la recherche ne remonte rien de pertinent, l’assistant doit le dire, et s’arrêter là.
Quatre garde-fous
1. La citation obligatoire. Chaque affirmation renvoie au document et au passage dont elle vient. C’est la première défense, parce qu’elle est vérifiable par l’utilisateur en un clic et parce qu’un système contraint de citer devient beaucoup plus prudent.
2. Le refus assumé. « Je ne trouve pas cette information dans la documentation » doit être une réponse normale, pas un échec. Les utilisateurs l’acceptent très bien ; c’est la réponse fausse qu’ils ne pardonnent pas.
3. Le périmètre fermé. L’assistant répond sur vos documents, et sur rien d’autre. Une question hors sujet reçoit une redirection, pas une réponse tirée des connaissances générales du modèle.
4. La fraîcheur visible. Chaque réponse indique la date du document cité. Une procédure de 2021 peut être exacte ou périmée ; c’est au lecteur d’en juger, à condition qu’il le sache.
La mesure qui compte
Le bon indicateur n’est pas la satisfaction déclarée, ni le nombre de questions posées. C’est le taux de réponses appuyées sur une source correcte, mesuré sur un échantillon de questions réelles relues à la main.
Cent questions relues valent mieux que dix mille interactions non vérifiées. Ce contrôle doit être refait après chaque évolution de la documentation, parce qu’un fonds qui change déplace les réponses.
Ce qui est surestimé
Le choix du modèle. À documentation égale, l’écart entre deux modèles récents est bien plus faible que l’écart entre une base documentaire propre et une base contenant trois versions contradictoires de la même procédure. Le travail utile est en amont, sur les documents.
Surestimé aussi : l’entraînement sur mesure. Réentraîner un modèle sur vos données coûte cher, se périme à chaque mise à jour documentaire, et donne de moins bons résultats qu’une recherche bien faite au moment de la question.
C’est cette architecture (recherche d’abord, rédaction ensuite, citation toujours) que nous mettons en place dans notre prestation d’assistant IA sur documentation.