Cómo comparar proveedores de desarrollo RAG: qué preguntar y una traza real de recuperación
Neaptide · 12 de octubre de 2026 · 10 min de lectura
En la traza de Neaptide sobre 542 pasajes, la fuente quedó primera de tres. Qué pedir a un proveedor RAG: recuperación, respaldo, permisos y actualización.
En este artículo
¿Cómo se comparan las empresas de desarrollo RAG?
Las empresas de desarrollo RAG se comparan por las pruebas que muestran con sus documentos. En la traza de Neaptide del 7 de octubre de 2026, sobre 542 pasajes de cuatro páginas, el pasaje de referencia R04 quedó primero de tres. Pida a cada proveedor la misma traza y cuatro resultados separados: recuperación, respaldo de la respuesta, permisos y actualización.
- Ocho requisitos hacen comparables las propuestas RAG: traza de recuperación, resultado de recuperación separado, pruebas con sus documentos, control de permisos, reglas de actualización, manejo de preguntas sin respuesta, entregables nombrados y soporte acordado por escrito.
- Cuatro resultados deben presentarse por separado: recuperación, respaldo de la respuesta, permisos y actualización. Una única cifra de precisión oculta qué parte falló.
- Seis pruebas van antes de firmar: traza de recuperación, posición del pasaje de referencia, rol restringido, documento obsoleto, pregunta sin respuesta y entrega de ensayo.
- En la traza R04 (7 de octubre de 2026, cuatro páginas públicas de servicios), el precio publicado de la auditoría GEO de Neaptide, 825–1.650 USD, quedó primero entre los tres fragmentos recuperados.
RAG (retrieval-augmented generation, generación aumentada por recuperación) es una forma de construir un asistente que recupera pasajes relevantes de documentos aprobados y se los entrega a un modelo de lenguaje, para que cada respuesta pueda contrastarse con sus fuentes. Un proveedor RAG diseña la recuperación, las reglas de respuesta y el control de permisos en torno a sus documentos.
¿Qué debe exigir a un proveedor RAG antes de contratarlo?
Antes de contratar, exija ocho cosas a un proveedor RAG, cada una con una comprobación que puede hacer usted mismo. La tabla indica qué pedir, cómo comprobarlo y qué respuesta debe alertarle. Use las mismas filas para todos los proveedores preseleccionados y podrá comparar las propuestas punto por punto.
| Exigir | Cómo comprobarlo | Correcto | Señal de alerta |
|---|---|---|---|
| Traza de recuperación | Pida una traza desde una de sus preguntas reales hasta los pasajes recuperados y, si el sistema genera respuestas, hasta la respuesta | Cada pasaje recuperado lleva una URL o un identificador de documento y una versión | Solo se muestran respuestas finales, sin pasajes recuperados |
| Resultado de recuperación separado | Pregunte si el pasaje de referencia llegó al modelo y en qué posición | La recuperación y el respaldo de la respuesta se miden por separado | Una sola cifra de precisión cubre ambas cosas |
| Pruebas con sus documentos | Pida el conjunto de evaluación: preguntas reales, pasajes de referencia anotados y versiones de las fuentes aprobadas | Las preguntas salen de su proceso y cada una tiene una referencia anotada | Los resultados proceden solo de documentos de demostración o públicos |
| Control de permisos | Haga la misma pregunta como usuario normal y con un rol restringido | El material restringido nunca aparece entre los pasajes recuperados para el usuario normal | El control de acceso se anuncia, pero solo se probó con contenido público |
| Actualización y borrado | Incluya en las pruebas un procedimiento obsoleto y un documento eliminado | Se recupera la versión vigente; la actualización, el borrado y la revocación están descritos por escrito | No hay frecuencia de actualización ni regla de borrado definidas |
| Preguntas sin respuesta | Haga una pregunta que sus documentos no responden | El asistente se abstiene o deriva la pregunta según una regla acordada | El proveedor asegura que el asistente responderá a todo |
| Entregables nombrados | Pida la lista de elementos que se transfieren | Se nombran código de la aplicación, configuración, prompts, procesos de ingesta, archivos de evaluación e instrucciones de operación; las licencias de terceros se listan aparte | La entrega se resume en «los datos son suyos» |
| Soporte acordado | Pregunte quién mantiene el sistema tras la aceptación y en qué condiciones | El soporte tiene un responsable, un alcance escrito y su propio acuerdo | El soporte se da por supuesto, pero no figura en ningún acuerdo |
Nuestro brief para proveedores convierte estas filas en campos vacíos: siete preguntas de alcance, seis elementos de evidencia para la aceptación y tres líneas sobre la entrega. Envíe el mismo brief a todos los proveedores y compare las respuestas completadas.
¿Cómo decidir entre varias propuestas RAG?
Para decidir entre propuestas RAG, aplique las mismas comprobaciones en un orden fijo y deténgase en la primera que una propuesta no supera. Las cuatro primeras descartan las propuestas que no se pueden evaluar; solo las restantes merecen una comparación de precio. Deténgase en la primera coincidencia:
- Si el proveedor no puede llevar una de sus preguntas hasta un pasaje de origen, pida esa traza antes de seguir.
- Si la evaluación usa solo documentos de demostración o públicos, pida una prueba con una muestra anonimizada de sus documentos aprobados.
- Si los permisos solo se probaron con contenido público, exija que la misma pregunta se haga con un rol normal y con uno restringido.
- Si la entrega no nombra código, configuración, prompts, procesos de ingesta, archivos de evaluación e instrucciones de operación, acuerde esa lista antes de firmar.
- Si las cuatro comprobaciones se superan, compare presupuestos con el mismo alcance: número y calidad de las fuentes, complejidad de permisos, integraciones, restricciones de alojamiento y cobertura de la evaluación.
Un porcentaje de precisión garantizado antes de que el proveedor haya visto sus documentos es una señal de alerta. La precisión depende de las preguntas y las fuentes del conjunto de aceptación, así que su lugar está en los criterios de aceptación.
¿Qué resultados debe presentar por separado un proveedor RAG?
Un proveedor RAG debe presentar por separado cuatro resultados: recuperación, respaldo de la respuesta, permisos y actualización. Cada fallo exige una corrección distinta: si el documento vigente nunca se recuperó, hay que corregir la recuperación; si el modelo ignoró un pasaje que recibió, hay que corregir las reglas de respuesta.
- Recuperación: si el pasaje de referencia anotado estuvo entre los fragmentos entregados al modelo y en qué posición.
- Respaldo de la respuesta: si la respuesta generada afirma solo lo que respaldan los pasajes recuperados y muestra la fuente.
- Permisos: si cada rol recupera solo los documentos que puede abrir.
- Actualización: si un documento modificado, eliminado o revocado deja de aparecer tras la actualización acordada.
Pida el paquete de evidencias detrás de esos cuatro resultados: versiones de las fuentes aprobadas, preguntas con referencias anotadas, pasajes recuperados con identificadores de fuente, respuestas reales si el sistema las genera y la configuración usada. El informe de aceptación debe listar también los casos fallidos y excluidos, y reservar un conjunto aparte de preguntas para pruebas posteriores.
¿Qué mostró la traza de recuperación de Neaptide?
El 7 de octubre de 2026, en la traza R04 seleccionada por Neaptide, el precio publicado de la auditoría GEO independiente, 825–1.650 USD, quedó primero entre los tres fragmentos recuperados, con la URL de origen y las condiciones que lo acompañan. Neaptide, un estudio de marketing digital que también integra IA, realizó la búsqueda sobre 542 pasajes extraídos de cuatro páginas de servicios en inglés publicadas. Solo se probó la recuperación: ningún modelo de lenguaje generó una respuesta, y un caso seleccionado no es una cifra de precisión.
¿Qué pregunta y qué fuente usó la traza R04?
La traza R04 planteó la pregunta «How much is the standalone Neaptide GEO audit?» (cuánto cuesta la auditoría GEO independiente de Neaptide) sobre cuatro páginas de servicios de Neaptide guardadas el 7 de octubre de 2026: SEO, GEO, desarrollo web e implantación de IA. La referencia anotada fue la frase «A standalone audit costs $825–1,650» de la página del servicio GEO. Cada pregunta del conjunto trataba sobre una oferta publicada, y el pasaje que la responde se anotó como referencia.
¿Qué devolvió el recuperador para R04?
Para R04, el recuperador colocó en primer lugar el pasaje de la página GEO que contiene la frase de referencia. La tabla relaciona cada campo registrado con la evidencia que un proveedor RAG debe conservar para cada caso de aceptación.
| Campo | Valor en R04 | Qué exigir al proveedor |
|---|---|---|
| ID de pregunta | R04 | Un identificador estable para cada pregunta de aceptación |
| Fuente | https://www.neaptide.ai/en/services/geo | Una URL o un identificador de documento en cada pasaje recuperado |
| Versión del documento | Hash SHA-256 del HTML guardado | Una versión o un hash que muestre qué copia se consultó |
| Posición | 1.º de los 3 fragmentos recuperados | La posición del pasaje de referencia y el número de fragmentos entregados |
| Contexto | Párrafo ancla más un párrafo vecino a cada lado, dentro de la misma página | La regla de fragmentación, para saber qué texto llegó al modelo |
| Texto devuelto | Publicado en el archivo de la traza | El propio texto recuperado, para comprobar el resultado directamente |
| Selección | Un caso exitoso de un estudio exploratorio más amplio; no es un benchmark agregado | Una descripción por escrito de cómo se eligieron los casos presentados |
El recuperador era un ranking léxico de tipo BM25 (k1 = 1,2, b = 0,75), sin reordenación, que devolvía los tres primeros fragmentos. La URL de origen y el hash del HTML original quedaban asociados a cada fragmento.
¿Por qué un precio recuperado debe conservar sus condiciones?
Un precio recuperado solo es útil si el mismo pasaje dice a qué servicio corresponde y qué excluye. En el fragmento de R04, la auditoría independiente de 825–1.650 USD aparece junto a los rangos mensuales de Core (1.650–2.475 USD) y Growth (2.475–3.300 USD), sin impuestos ni trabajos adicionales acordados. Esas frases vecinas permiten comprobar que el precio corresponde a la auditoría puntual y no a un programa mensual.
En su propia evaluación, exija que cada pasaje recuperado conserve la identidad del documento, su versión y el texto cercano relevante. Después revise la respuesta por separado: debe nombrar el servicio correcto y mantener las condiciones que hacen exacta la afirmación.
¿Qué probar antes de firmar un contrato RAG?
Antes de firmar un contrato RAG, haga seis pruebas, cada una con una condición de aprobación acordada por escrito. Una propuesta que falla cualquiera de las tres primeras con una muestra de sus documentos todavía no está lista para comparar precios.
- Traza de recuperación: una de sus preguntas reales se sigue hasta un pasaje recuperado con identificador de fuente y versión; falla si la traza empieza en la respuesta.
- Posición de la referencia: el pasaje de referencia anotado aparece dentro del número de fragmentos declarado (R04 usó los tres primeros); falla si el proveedor no sabe indicar ese número.
- Rol restringido: la misma pregunta hecha por un usuario normal no devuelve ningún pasaje de un documento restringido; una sola filtración bloquea la puesta en marcha.
- Documento obsoleto: hay un procedimiento sustituido en las pruebas; se aprueba solo si se recupera la versión vigente o se señala el conflicto.
- Pregunta sin respuesta: una pregunta que sus documentos no responden se rechaza o se deriva según la regla acordada; cualquier respuesta inventada es un fallo.
- Entrega de ensayo: otro equipo despliega el sistema con el manual de operación y los entregables; inclúyalo en la aceptación si su equipo va a mantener el sistema.
La traza pública R04 cubre las pruebas 1 y 2, y solo con contenido público; las pruebas 3 a 6 necesitan evidencia del entorno real del proyecto y de sus roles de usuario.
¿Qué debe incluir la entrega de un sistema RAG?
La entrega de un sistema RAG debe nombrar seis elementos: código de la aplicación, configuración, prompts, procesos de ingesta, archivos de evaluación e instrucciones de operación. Los componentes de terceros, los modelos alojados y las plataformas de otros proveedores tienen sus propias licencias y suscripciones; lístelos aparte, porque un proveedor no puede transferirlos como código propio.
La formación de operación debe cubrir la actualización de fuentes, los cambios de permisos, las solicitudes fallidas y el cauce para comunicar respuestas incorrectas. El soporte posterior es un acuerdo aparte con un responsable y un alcance; consígalo por escrito antes de comparar el coste total.
¿Qué preparar antes de pedir un presupuesto RAG?
Antes de pedir un presupuesto RAG, prepare tres cosas: los documentos aprobados, los roles de usuario y las preguntas recurrentes del proceso al que servirá el asistente. Para una primera conversación bastan muestras anonimizadas y una lista de roles; mantenga los documentos confidenciales en su entorno aprobado hasta acordar cómo se accederá a ellos. La primera decisión de alcance es qué fuentes son las autorizadas y qué debe mostrar una respuesta aceptable.