Как выбрать подрядчика для разработки RAG: что спросить и реальная запись поиска

Как сравнить подрядчиков по разработке RAG?

Подрядчиков по разработке RAG сравнивают по тому, что они могут показать на ваших документах. В записи Neaptide от 7 октября 2026 года по 542 фрагментам четырёх страниц услуг опорный фрагмент R04 оказался первым из трёх найденных. Попросите у каждого подрядчика такую же запись по вашим вопросам и четыре отдельных результата: поиск, подтверждение ответа, права доступа и актуальность.

• Восемь требований делают предложения по RAG сравнимыми: запись поиска, отдельный результат поиска, проверка на ваших документах, проверка прав, правила актуальности, поведение при вопросах без ответа, перечень передаваемого и оформленная поддержка.
• Четыре результата нужно получать раздельно: поиск, подтверждение ответа, права доступа и актуальность. Одна общая «точность» скрывает, где именно произошла ошибка.
• Шесть проверок проводят до подписания: запись поиска, позиция нужного фрагмента, ограниченная роль, устаревший документ, вопрос без ответа и пробная передача.
• В записи R04 (7 октября 2026 года, четыре публичные страницы услуг) опубликованная цена GEO-аудита Neaptide $825–1 650 оказалась первой среди трёх найденных фрагментов.

RAG (retrieval-augmented generation, генерация с поиском по документам) — способ построить ассистента, который находит нужные фрагменты в согласованных документах и передаёт их языковой модели, чтобы каждый ответ можно было сверить с источником. Подрядчик по RAG проектирует поиск, правила ответа и проверку прав доступа под ваши документы.

Что потребовать от подрядчика по RAG до начала работы?

До начала работы потребуйте от подрядчика по RAG восемь вещей, и каждую из них можно проверить самостоятельно. В таблице указано, что запросить, как это проверить и какой ответ должен насторожить. Оценивайте всех подрядчиков из короткого списка по одним и тем же строкам — тогда предложения можно сравнить построчно.

Наш бриф для подрядчика превращает эти строки в пустые поля: семь вопросов об объёме работ, шесть пунктов о доказательствах для приёмки и три строки о передаче. Отправьте один и тот же бриф всем подрядчикам и сравните заполненные ответы.

Как выбрать между предложениями по RAG?

Выбирать между предложениями по RAG удобнее всего, проводя одни и те же проверки в постоянном порядке и останавливаясь на первой, которую предложение не прошло. Первые четыре проверки отсеивают предложения, которые невозможно оценить; по цене стоит сравнивать только оставшиеся. Остановитесь на первом совпадении:

1. Если подрядчик не может провести один из ваших вопросов до фрагмента источника, попросите такую запись, прежде чем продолжать.
2. Если оценка проводилась только на демонстрационных или публичных документах, попросите проверку на обезличенной выборке ваших документов.
3. Если права доступа проверены только на публичных данных, потребуйте задать один и тот же вопрос от обычной и от ограниченной роли.
4. Если в перечне передаваемого не названы код, настройки, промпты, задания загрузки, файлы оценки и инструкции по эксплуатации, согласуйте этот список до подписания.
5. Если все четыре проверки пройдены, сравнивайте цены при одинаковом объёме: количество и качество источников, сложность прав доступа, интеграции, ограничения по размещению и охват оценки.

Гарантированный процент точности, названный до того, как подрядчик увидел ваши документы, — тревожный признак. Точность зависит от вопросов и источников в наборе для приёмки, поэтому её место — в критериях приёмки.

Какие результаты подрядчик по RAG должен показывать отдельно?

Подрядчик по RAG должен отдельно показывать четыре результата: поиск, подтверждение ответа источниками, права доступа и актуальность. Ошибки в каждой части исправляются по-разному: если актуальный документ не был найден, нужно чинить поиск; если модель проигнорировала полученный фрагмент — правила ответа.

• Поиск: попал ли размеченный опорный фрагмент в число фрагментов, переданных модели, и на каком месте.
• Подтверждение ответа: говорит ли сгенерированный ответ только то, что подтверждают найденные фрагменты, и указан ли источник.
• Права доступа: находит ли каждая роль только те документы, которые ей разрешено открывать.
• Актуальность: перестаёт ли находиться обновлённый, удалённый или закрытый документ после согласованного обновления.

Запросите комплект доказательств за этими четырьмя результатами: версии согласованных источников, вопросы с размеченными опорными фрагментами, найденные фрагменты с идентификаторами источников, реальные ответы, если система их генерирует, и настройки запуска. В отчёте о приёмке также должны быть перечислены неудачные и исключённые случаи, а отдельный набор вопросов — сохранён для будущих проверок.

Что показала собственная запись поиска Neaptide?

7 октября 2026 года в выбранной записи R04 опубликованная цена отдельного GEO-аудита Neaptide $825–1 650 оказалась первой среди трёх найденных фрагментов — вместе с URL источника и условиями вокруг неё. Neaptide — студия продвижения в интернете, которая также внедряет ИИ, — провела поиск по 542 фрагментам, извлечённым из четырёх действующих английских страниц услуг. Проверялся только поиск: языковая модель ответ не генерировала, и один выбранный случай не является оценкой точности.

• Данные и методика исследования · EN
• Вопросы и ответы

Какой вопрос и какой источник использовались в записи R04?

В записи R04 задан вопрос «How much is the standalone Neaptide GEO audit?» — сколько стоит отдельный GEO-аудит Neaptide. Поиск шёл по четырём страницам услуг Neaptide, сохранённым 7 октября 2026 года: SEO, GEO, разработка сайтов и внедрение ИИ. Опорным фрагментом было предложение «A standalone audit costs $825–1,650» со страницы GEO; каждый вопрос набора касался опубликованного предложения, а отвечающий на него фрагмент был размечен как опорный.

• Актуальные условия GEO
• Выбранный успешный результат поиска · JSON, EN

Что вернул поиск по вопросу R04?

По вопросу R04 поиск поставил на первое место фрагмент страницы GEO, содержащий опорное предложение. В таблице каждое зафиксированное поле сопоставлено с тем, что подрядчик по RAG должен сохранять для каждого задания приёмки.

Поиск выполнялся лексическим ранжированием в стиле BM25 (k1 = 1,2, b = 0,75) без повторного ранжирования и возвращал три первых фрагмента. URL источника и хеш исходного HTML сохранялись вместе с каждым фрагментом.

Почему найденная цена должна сохранять окружающие условия?

Найденной ценой можно пользоваться, только если в том же фрагменте сказано, к какой услуге она относится и что в неё не входит. Во фрагменте R04 отдельный аудит за $825–1 650 стоит рядом с ежемесячными диапазонами Core ($1 650–2 475) и Growth ($2 475–3 300) без учёта налогов и согласованных дополнительных работ. По этим соседним предложениям проверяющий видит, что сумма относится к разовому аудиту, а не к ежемесячной программе.

В оценке своего проекта требуйте, чтобы вместе с каждым найденным фрагментом сохранялись идентификатор документа, версия и нужный окружающий текст. Ответ проверяйте отдельно: в нём должна быть названа нужная услуга и сохранены условия, от которых зависит точность утверждения.

Что проверить перед подписанием договора на RAG?

Перед подписанием договора на RAG проведите шесть проверок и для каждой письменно согласуйте условие прохождения. Предложение, которое не проходит любую из первых трёх на выборке ваших документов, ещё рано сравнивать по цене.

1. Запись поиска: один из ваших реальных вопросов прослежен до найденного фрагмента с идентификатором источника и версией; не пройдено, если запись начинается с ответа.
2. Место опорного фрагмента: размеченный фрагмент попадает в заявленное число передаваемых модели (в R04 — три первых); не пройдено, если подрядчик не может назвать это число.
3. Ограниченная роль: тот же вопрос от обычного пользователя не возвращает ни одного фрагмента закрытого документа; даже одна утечка блокирует запуск.
4. Устаревший документ: в проверке есть заменённая инструкция; пройдено, только если найдена актуальная версия или противоречие отмечено.
5. Вопрос без ответа: на вопрос, ответа на который нет в документах, ассистент отказывается отвечать или передаёт его сотруднику по согласованному правилу; любой выдуманный ответ — провал.
6. Пробная передача: другая команда разворачивает систему по инструкции и переданным файлам; включите это в приёмку, если сопровождать систему будет ваша команда.

Публичная запись R04 закрывает проверки 1 и 2 только на общедоступных данных; для проверок 3–6 нужны доказательства из среды самого проекта и с его ролями пользователей.

Что должно входить в передачу RAG-системы?

В передаче RAG-системы должны быть названы шесть составляющих: код приложения, настройки, промпты, задания загрузки, файлы оценки и инструкции по эксплуатации. У сторонних компонентов, облачных моделей и платформ поставщиков свои лицензии и подписки, поэтому их перечисляют отдельно: подрядчик не может передать их как собственный код.

Инструктаж по эксплуатации должен охватывать обновление источников, изменение прав доступа, ошибки запросов и порядок сообщения о неверных ответах. Дальнейшая поддержка оформляется отдельным соглашением с ответственным и объёмом работ; закрепите его письменно до сравнения общей стоимости.

Что подготовить перед запросом цены на RAG?

Перед запросом цены на RAG подготовьте три вещи: согласованные документы, роли пользователей и повторяющиеся вопросы из процесса, который будет обслуживать ассистент. Для первого обсуждения достаточно обезличенных примеров и списка ролей; конфиденциальные документы держите в своей защищённой среде, пока не согласован порядок доступа. Первое решение при оценке объёма — какие источники считаются основными и что должен показывать приемлемый ответ.

• Подготовка документов компании
• Статьи затрат на внедрение ИИ
• Бриф исполнителю с полями доказательств · TXT, EN