Comment comparer des prestataires RAG : les questions à poser et une trace de recherche réelle

Comment comparer des prestataires de développement RAG ?

On compare des prestataires RAG sur les preuves produites avec vos documents. Dans la trace Neaptide du 7 octobre 2026, sur 542 passages de quatre pages de services, le passage de référence R04 est arrivé premier sur trois. Demandez à chaque prestataire la même trace, puis quatre résultats distincts : recherche, appui de la réponse, droits d’accès et fraîcheur.

• Huit exigences rendent les propositions RAG comparables : trace de recherche, résultat de recherche distinct, tests sur vos documents, contrôle des droits, règles de fraîcheur, traitement des questions sans réponse, livrables nommés et maintenance contractualisée.
• Quatre résultats doivent être présentés séparément : recherche, appui de la réponse, droits d’accès et fraîcheur. Un taux de précision unique masque la partie qui a échoué.
• Six tests se font avant signature : trace de recherche, rang du passage de référence, rôle restreint, document obsolète, question sans réponse et transfert à blanc.
• Dans la trace R04 (7 octobre 2026, quatre pages de services publiques), le tarif publié de l’audit GEO Neaptide, 825–1 650 USD, est arrivé premier parmi les trois passages retrouvés.

Le RAG (retrieval-augmented generation, génération augmentée par la recherche) consiste à construire un assistant qui retrouve des passages pertinents dans des documents validés et les transmet à un modèle de langage, afin que chaque réponse puisse être vérifiée dans ses sources. Un prestataire RAG conçoit la recherche, les règles de réponse et le contrôle des droits autour de vos documents.

Que faut-il exiger d’un prestataire RAG avant de le retenir ?

Avant de retenir un prestataire RAG, exigez huit éléments, chacun vérifiable par vous-même. Le tableau indique quoi demander, comment le vérifier et quelle réponse doit vous alerter. Utilisez les mêmes lignes pour tous les prestataires présélectionnés afin de comparer les propositions point par point.

Notre brief prestataire transforme ces lignes en champs vides : sept questions de cadrage, six éléments de preuve pour la recette et trois lignes sur le transfert. Envoyez le même brief à chaque prestataire et comparez les réponses remplies.

Comment départager plusieurs propositions RAG ?

Pour départager des propositions RAG, appliquez les mêmes vérifications dans un ordre fixe et arrêtez-vous à la première qu’une proposition ne passe pas. Les quatre premières vérifications écartent les propositions impossibles à évaluer ; seules les autres méritent une comparaison de prix. Arrêtez-vous à la première correspondance :

1. Si le prestataire ne peut pas relier une de vos questions à un passage source, demandez cette trace avant d’aller plus loin.
2. Si l’évaluation porte uniquement sur des documents de démonstration ou publics, demandez un test sur un échantillon anonymisé de vos documents validés.
3. Si les droits n’ont été testés que sur du contenu public, exigez que la même question soit posée avec un rôle standard et avec un rôle restreint.
4. Si les livrables ne nomment pas le code, la configuration, les prompts, les tâches d’ingestion, les fichiers d’évaluation et les instructions d’exploitation, fixez cette liste avant de signer.
5. Si les quatre vérifications sont passées, comparez les devis à périmètre égal : nombre et qualité des sources, complexité des droits, intégrations, contraintes d’hébergement et couverture de l’évaluation.

Un pourcentage de précision garanti avant que le prestataire ait vu vos documents est un signal d’alerte. La précision dépend des questions et des sources du jeu de recette ; elle a donc sa place dans les critères de recette.

Quels résultats un prestataire RAG doit-il présenter séparément ?

Un prestataire RAG doit présenter séparément quatre résultats : recherche, appui de la réponse sur les sources, droits d’accès et fraîcheur. Chaque échec appelle une correction différente : si le document à jour n’a jamais été retrouvé, il faut corriger la recherche ; si le modèle a ignoré un passage reçu, ce sont les règles de réponse.

• Recherche : le passage de référence annoté figure-t-il parmi les passages transmis au modèle, et à quel rang ?
• Appui de la réponse : la réponse générée n’affirme-t-elle que ce que soutiennent les passages retrouvés, avec la source affichée ?
• Droits d’accès : chaque rôle ne retrouve-t-il que les documents qu’il est autorisé à ouvrir ?
• Fraîcheur : un document modifié, supprimé ou révoqué disparaît-il des résultats après la mise à jour convenue ?

Demandez le dossier de preuves derrière ces quatre résultats : versions des sources validées, questions avec références annotées, passages retrouvés avec identifiants de source, réponses réelles si le système en génère et configuration utilisée. Le rapport de recette doit aussi lister les cas échoués et exclus, et conserver un jeu de questions séparé pour les tests ultérieurs.

Qu’a montré la trace de recherche de Neaptide ?

Le 7 octobre 2026, dans la trace R04 sélectionnée par Neaptide, le tarif publié de l’audit GEO autonome, 825–1 650 USD, est arrivé premier parmi les trois passages retrouvés, avec l’URL source et les conditions voisines. Neaptide, un studio de marketing numérique qui intègre aussi l’IA, a lancé la recherche sur 542 passages extraits de quatre pages de services en anglais, en ligne. Seule la recherche a été testée : aucun modèle de langage n’a généré de réponse, et un cas sélectionné ne constitue pas un taux de précision.

• Données et méthode · EN
• Questions et réponses

Quelle question et quelle source la trace R04 a-t-elle utilisées ?

La trace R04 pose la question « How much is the standalone Neaptide GEO audit? » (combien coûte l’audit GEO autonome de Neaptide) sur quatre pages de services Neaptide enregistrées le 7 octobre 2026 : SEO, GEO, développement web et intégration de l’IA. La référence annotée est la phrase « A standalone audit costs $825–1,650 » de la page du service GEO. Chaque question du jeu porte sur une offre publiée, et le passage qui y répond a été annoté comme référence.

• Service GEO et conditions actuelles
• Trace de recherche réussie sélectionnée · JSON, EN

Qu’a renvoyé la recherche pour R04 ?

Pour R04, la recherche a placé en premier le passage de la page GEO qui contient la phrase de référence. Le tableau associe chaque champ enregistré à la preuve qu’un prestataire RAG doit conserver pour chaque cas de recette.

La recherche utilisait un classement lexical de type BM25 (k1 = 1,2, b = 0,75), sans reclassement, et renvoyait les trois premiers passages. L’URL source et l’empreinte du HTML d’origine restaient attachées à chaque passage.

Pourquoi un prix retrouvé doit-il garder ses conditions ?

Un prix retrouvé n’est exploitable que si le même passage indique à quel service il s’applique et ce qu’il exclut. Dans le passage R04, l’audit autonome à 825–1 650 USD côtoie les fourchettes mensuelles de Core (1 650–2 475 USD) et de Growth (2 475–3 300 USD), hors taxes et prestations complémentaires convenues. Ces phrases voisines permettent de vérifier que le tarif concerne l’audit ponctuel et non un programme mensuel.

Dans votre propre évaluation, exigez que l’identifiant du document, sa version et le texte voisin utile accompagnent chaque passage retrouvé. Vérifiez ensuite la réponse séparément : elle doit nommer le bon service et conserver les conditions qui rendent l’affirmation exacte.

Que tester avant de signer un contrat RAG ?

Avant de signer un contrat RAG, réalisez six tests, chacun avec une condition de réussite fixée par écrit. Une proposition qui échoue à l’un des trois premiers sur un échantillon de vos documents n’est pas prête pour une comparaison de prix.

1. Trace de recherche : une de vos vraies questions est reliée à un passage retrouvé avec identifiant de source et version ; échec si la trace commence à la réponse.
2. Rang de la référence : le passage de référence annoté figure dans le nombre de passages annoncé (R04 utilisait les trois premiers) ; échec si le prestataire ne peut pas indiquer ce nombre.
3. Rôle restreint : la même question posée par un utilisateur standard ne renvoie aucun passage d’un document restreint ; une seule fuite bloque la mise en service.
4. Document obsolète : une procédure remplacée figure dans les tests ; réussite seulement si la version en vigueur est retrouvée ou si le conflit est signalé.
5. Question sans réponse : une question à laquelle vos documents ne répondent pas est refusée ou transmise selon la règle convenue ; toute réponse inventée est un échec.
6. Transfert à blanc : une autre équipe déploie le système à partir du runbook et des livrables ; intégrez ce test à la recette si votre équipe assurera la maintenance.

La trace publique R04 couvre les tests 1 et 2, uniquement sur du contenu public ; les tests 3 à 6 exigent des preuves issues de l’environnement réel du projet et de ses rôles utilisateurs.

Que doit contenir le transfert d’un système RAG ?

Le transfert d’un système RAG doit nommer six éléments : code applicatif, configuration, prompts, tâches d’ingestion, fichiers d’évaluation et instructions d’exploitation. Les composants tiers, les modèles hébergés et les plateformes d’éditeurs ont leurs propres licences et abonnements ; listez-les à part, car un prestataire ne peut pas les céder comme son propre code.

La prise en main doit couvrir la mise à jour des sources, les changements de droits, les requêtes en échec et la procédure de signalement des réponses fausses. La maintenance fait l’objet d’un accord séparé avec un responsable nommé et un périmètre ; obtenez-le par écrit avant de comparer le coût total.

Que préparer avant de demander un devis RAG ?

Avant de demander un devis RAG, préparez trois éléments : les documents validés, les rôles utilisateurs et les questions récurrentes du processus que l’assistant servira. Des extraits anonymisés et une liste de rôles suffisent pour un premier échange ; gardez les documents confidentiels dans votre environnement validé tant que les modalités d’accès ne sont pas fixées. La première décision de cadrage porte sur les sources qui font foi et sur ce qu’une réponse acceptable doit montrer.

• Préparer les documents de l’entreprise
• Postes de coût d’un projet IA
• Brief prestataire avec champs de preuves · TXT, EN