Come confrontare i fornitori di sviluppo RAG: cosa chiedere e una traccia reale di recupero

Come si confrontano le aziende di sviluppo RAG?

Le aziende di sviluppo RAG si confrontano sulle prove mostrate con i vostri documenti. Nella traccia Neaptide del 7 ottobre 2026, su 542 passaggi di quattro pagine di servizi, il riferimento R04 è risultato primo su tre. Chiedete a ogni fornitore la stessa traccia e quattro risultati separati: recupero, supporto della risposta, permessi e aggiornamento.

• Otto requisiti rendono confrontabili le proposte RAG: traccia di recupero, risultato di recupero separato, test sui vostri documenti, controllo dei permessi, regole di aggiornamento, gestione delle domande senza risposta, consegna elencata e assistenza definita per iscritto.
• Quattro risultati vanno presentati separatamente: recupero, supporto della risposta, permessi e aggiornamento. Un’unica percentuale di accuratezza nasconde quale parte ha fallito.
• Sei test vanno fatti prima della firma: traccia di recupero, posizione del passaggio di riferimento, ruolo limitato, documento obsoleto, domanda senza risposta e consegna di prova.
• Nella traccia R04 (7 ottobre 2026, quattro pagine di servizi pubbliche) il prezzo pubblicato dell’audit GEO di Neaptide, 825–1.650 USD, è risultato primo tra i tre frammenti recuperati.

RAG (retrieval-augmented generation, generazione aumentata dal recupero) è un modo di costruire un assistente che recupera i passaggi pertinenti da documenti approvati e li passa a un modello linguistico, così che ogni risposta si possa verificare sulle fonti. Un fornitore RAG progetta il recupero, le regole di risposta e il controllo dei permessi intorno ai vostri documenti.

Che cosa pretendere da un fornitore RAG prima di sceglierlo?

Prima di scegliere un fornitore RAG, pretendete otto cose, ognuna verificabile da voi. La tabella indica cosa chiedere, come verificarlo e quale risposta deve mettervi in allarme. Usate le stesse righe per tutti i fornitori in lista ristretta, così da confrontare le proposte voce per voce.

Il nostro brief per i fornitori trasforma queste righe in campi vuoti: sette domande sul perimetro, sei voci di prova per il collaudo e tre righe sulla consegna. Inviate lo stesso brief a tutti i fornitori e confrontate le risposte compilate.

Come scegliere tra più proposte RAG?

Per scegliere tra proposte RAG, applicate gli stessi controlli in un ordine fisso e fermatevi al primo che una proposta non supera. I primi quattro controlli escludono le proposte impossibili da valutare; solo le restanti meritano un confronto sul prezzo. Fermatevi alla prima corrispondenza:

1. Se il fornitore non riesce a collegare una vostra domanda a un passaggio di origine, chiedete quella traccia prima di proseguire.
2. Se la valutazione usa solo documenti dimostrativi o pubblici, chiedete un test su un campione anonimizzato dei vostri documenti approvati.
3. Se i permessi sono stati testati solo su contenuti pubblici, pretendete che la stessa domanda venga posta con un ruolo ordinario e con uno limitato.
4. Se la consegna non indica codice, configurazione, prompt, processi di acquisizione, file di valutazione e istruzioni operative, concordate questo elenco prima di firmare.
5. Se tutti e quattro i controlli sono superati, confrontate i preventivi a parità di perimetro: numero e qualità delle fonti, complessità dei permessi, integrazioni, vincoli di hosting e copertura della valutazione.

Una percentuale di accuratezza garantita prima che il fornitore abbia visto i vostri documenti è un campanello d’allarme. L’accuratezza dipende dalle domande e dalle fonti del set di collaudo, quindi va inserita nei criteri di collaudo.

Quali risultati deve presentare separatamente un fornitore RAG?

Un fornitore RAG deve presentare separatamente quattro risultati: recupero, supporto della risposta, permessi e aggiornamento. Ogni errore richiede una correzione diversa: se il documento aggiornato non è mai stato recuperato, va corretto il recupero; se il modello ha ignorato un passaggio ricevuto, vanno corrette le regole di risposta.

• Recupero: se il passaggio di riferimento annotato era tra i frammenti passati al modello e in quale posizione.
• Supporto della risposta: se la risposta generata afferma solo ciò che i passaggi recuperati sostengono, mostrando la fonte.
• Permessi: se ogni ruolo recupera solo i documenti che può aprire.
• Aggiornamento: se un documento modificato, cancellato o revocato smette di comparire dopo l’aggiornamento concordato.

Chiedete il pacchetto di prove dietro questi quattro risultati: versioni delle fonti approvate, domande con riferimenti annotati, passaggi recuperati con identificativi della fonte, risposte reali se il sistema le genera e configurazione usata. Il rapporto di collaudo deve elencare anche i casi falliti ed esclusi e conservare un set separato di domande per i test successivi.

Che cosa ha mostrato la traccia di recupero di Neaptide?

Il 7 ottobre 2026, nella traccia R04 selezionata da Neaptide, il prezzo pubblicato dell’audit GEO separato, 825–1.650 USD, è risultato primo tra i tre frammenti recuperati, con l’URL di origine e le condizioni circostanti. Neaptide, uno studio di marketing digitale che integra anche l’IA, ha eseguito la ricerca su 542 passaggi estratti da quattro pagine di servizi in inglese online. È stato testato solo il recupero: nessun modello linguistico ha generato una risposta, e un caso selezionato non è una misura di accuratezza.

• Dati e metodo · EN
• Domande e risposte

Quale domanda e quale fonte ha usato la traccia R04?

La traccia R04 ha posto la domanda «How much is the standalone Neaptide GEO audit?» (quanto costa l’audit GEO separato di Neaptide) su quattro pagine di servizi Neaptide salvate il 7 ottobre 2026: SEO, GEO, sviluppo web e implementazione dell’IA. Il riferimento annotato era la frase «A standalone audit costs $825–1,650» della pagina del servizio GEO. Ogni domanda del set riguardava un’offerta pubblicata, e il passaggio che vi risponde è stato annotato come riferimento.

• Servizio GEO e condizioni attuali
• Traccia riuscita selezionata · JSON, EN

Che cosa ha restituito il recupero per R04?

Per R04, il recupero ha messo al primo posto il passaggio della pagina GEO che contiene la frase di riferimento. La tabella collega ogni campo registrato alla prova che un fornitore RAG deve conservare per ogni caso di collaudo.

Il recupero usava un ranking lessicale di tipo BM25 (k1 = 1,2, b = 0,75), senza riordinamento, e restituiva i primi tre frammenti. L’URL di origine e l’hash dell’HTML originale restavano associati a ogni frammento.

Perché un prezzo recuperato deve conservare le sue condizioni?

Un prezzo recuperato è utilizzabile solo se lo stesso passaggio dice a quale servizio si riferisce e che cosa esclude. Nel frammento R04, l’audit separato da 825–1.650 USD compare accanto agli intervalli mensili di Core (1.650–2.475 USD) e Growth (2.475–3.300 USD), al netto di imposte e lavori aggiuntivi concordati. Queste frasi vicine permettono di verificare che il prezzo riguarda l’audit una tantum e non un programma mensile.

Nella vostra valutazione, pretendete che ogni passaggio recuperato conservi l’identità del documento, la versione e il testo circostante utile. Poi verificate la risposta separatamente: deve indicare il servizio giusto e mantenere le condizioni che rendono esatta l’affermazione.

Che cosa testare prima di firmare un contratto RAG?

Prima di firmare un contratto RAG, eseguite sei test, ognuno con una condizione di superamento concordata per iscritto. Una proposta che fallisce uno dei primi tre su un campione dei vostri documenti non è ancora pronta per il confronto sul prezzo.

1. Traccia di recupero: una vostra domanda reale è collegata a un passaggio recuperato con identificativo della fonte e versione; fallito se la traccia parte dalla risposta.
2. Posizione del riferimento: il passaggio di riferimento annotato rientra nel numero di frammenti dichiarato (R04 usava i primi tre); fallito se il fornitore non sa indicare quel numero.
3. Ruolo limitato: la stessa domanda posta da un utente ordinario non restituisce alcun passaggio di un documento riservato; anche una sola fuga blocca il rilascio.
4. Documento obsoleto: nei test c’è una procedura sostituita; superato solo se viene recuperata la versione in vigore o se il conflitto viene segnalato.
5. Domanda senza risposta: una domanda a cui i vostri documenti non rispondono viene rifiutata o inoltrata secondo la regola concordata; qualsiasi risposta inventata è un fallimento.
6. Consegna di prova: un altro team installa il sistema seguendo il manuale operativo e i materiali consegnati; inseritelo nel collaudo se sarà il vostro team a gestire il sistema.

La traccia pubblica R04 copre i test 1 e 2, e solo su contenuti pubblici; i test da 3 a 6 richiedono prove dall’ambiente reale del progetto e dai suoi ruoli utente.

Che cosa deve includere la consegna di un sistema RAG?

La consegna di un sistema RAG deve indicare sei elementi: codice applicativo, configurazione, prompt, processi di acquisizione, file di valutazione e istruzioni operative. Componenti di terzi, modelli in hosting e piattaforme di altri fornitori hanno licenze e abbonamenti propri; elencateli a parte, perché un fornitore non può trasferirli come codice proprio.

La sessione operativa deve coprire l’aggiornamento delle fonti, le modifiche ai permessi, le richieste non riuscite e il canale per segnalare risposte errate. L’assistenza successiva è un accordo separato con un responsabile e un perimetro; ottenetelo per iscritto prima di confrontare il costo totale.

Che cosa preparare prima di chiedere un preventivo RAG?

Prima di chiedere un preventivo RAG, preparate tre cose: i documenti approvati, i ruoli utente e le domande ricorrenti del processo che l’assistente servirà. Per un primo confronto bastano esempi anonimizzati e un elenco dei ruoli; tenete i documenti riservati nel vostro ambiente approvato finché le modalità di accesso non sono concordate. La prima decisione sul perimetro riguarda quali fonti fanno fede e che cosa deve mostrare una risposta accettabile.

• Preparare i documenti aziendali
• Voci di costo dell’IA
• Brief con campi per le prove · TXT, EN