Chatbot documentaire : préparer la base et vérifier les réponses

Avant de développer un chatbot documentaire, précisez les questions auxquelles il doit répondre. « Connaître tous les documents » ne permet pas de vérifier le résultat. En revanche, on peut tester s’il explique la procédure actuelle d’accès au CRM et renvoie au bon passage.

Le RAG recherche les passages pertinents dans les documents et les fournit au modèle avec la question. La réponse peut citer ses sources, mais une citation ne garantit pas l’exactitude : le système a pu trouver le mauvais document ou mal le restituer.

• Microsoft — Retrieval augmented generation

Commencer par un ensemble limité de documents à jour

Désignez une personne responsable de la base et choisissez les documents nécessaires. Un assistant interne peut expliquer les outils de travail, tandis qu’un bot destiné aux clients utilise les descriptions de services. Leurs documents n’ont pas à être regroupés dans une base ouverte à tous.

Pour chaque document, précisez le titre, la version ou la date d’effet, le responsable, le public et l’emplacement. Rangez les archives de façon qu’une ancienne consigne ne prenne pas la place de l’actuelle. Si deux documents se contredisent, c’est au responsable du processus de trancher.

Accompagner la réponse de preuves

Le lien doit mener au document qui confirme la réponse, si possible au passage concerné. Lorsque les règles changent, indiquez la version ou la date du document pour que l’utilisateur puisse les vérifier.

Si les documents ne suffisent pas pour répondre, le bot doit demander une précision, ou bien expliquer ce qui manque et orienter l’utilisateur vers un responsable. Définissez ce comportement avant les tests, pour qu’une réponse assurée mais sans fondement ne soit pas comptée comme un succès.

Appliquer les droits avant de transmettre les documents

Les restrictions doivent s’appliquer dès la recherche. Une simple consigne donnée au bot ne suffit pas. Microsoft documente le filtrage des résultats selon les groupes auxquels l’utilisateur appartient.

• Microsoft — Document security filters

Testez avec un compte ordinaire, un compte disposant de droits supplémentaires et un compte dont l’accès a été retiré. Ni la réponse ni les liens ne doivent révéler de documents interdits à cet utilisateur. Limitez aussi l’accès aux journaux de test, qui peuvent contenir des extraits de documents réservés.

Vérifier cinq situations sur un exemple fictif

Ces règles sont inventées et ne sont pas celles de Neaptide. Dans la version 1, l’accès au CRM se demandait par e-mail. La version 2, en vigueur, passe par un portail de services et exige l’accord du responsable. Une consigne distincte est réservée aux administrateurs.

Préparez les questions avant le réglage du bot et gardez-en certaines pour le test final. Une démonstration sur quelques questions connues dit peu de chose sur les nouvelles demandes. Conservez séparément les passages trouvés et la réponse finale pour localiser les erreurs.

Mettre la base à jour après le lancement

Désignez un responsable des mises à jour et convenez du délai au bout duquel une nouvelle information doit apparaître dans les réponses. Un fichier remplacé n’est pas forcément déjà pris en compte par la recherche. Vérifiez son traitement, les éventuelles erreurs et la réponse à une question de contrôle. Testez aussi la suppression de documents et les changements de droits.

Examinez les questions sans réponse documentée, les documents mal sélectionnés et les demandes transmises à un humain. Une correction de la consigne source peut suffire. Le niveau de confiance annoncé par le modèle ne prouve pas qu’il a raison.

Quand le chatbot n’est pas nécessaire

Avec quelques consignes courtes et peu de demandes, une navigation claire et une recherche classique peuvent suffire. Envisagez un bot si les questions se répètent ou si les réponses nécessitent plusieurs documents. Évaluez ce besoin à partir des demandes réelles.

Pour discuter d’un projet RAG avec Neaptide, apportez des exemples de questions avec les réponses attendues, les documents en vigueur et la liste des groupes d’utilisateurs. Ces éléments servent à chiffrer la préparation, les intégrations, les tests et la maintenance.

• Discuter d’un chatbot documentaire

• Comprendre le coût d’un projet IA

• Vérifier les réponses IA