# Проверка локального и облачного ИИ на своих задачах

Шаблон Neaptide · 27 сентября 2026

Это предложенная методика небольшого рабочего пилота, а не отраслевой стандарт и не готовый бенчмарк. Заполняйте результаты после реальной проверки. Не отправляйте участнику пилота данные, обработка которых ему не разрешена.

## 1. Условия и решение

- Какое решение нужно принять:
- Задача и типичный объём за месяц:
- Текущий способ выполнения и его затраты:
- Какие данные допустимы для каждого варианта:
- Какие ошибки недопустимы:
- Кто принимает результат:
- Минимально приемлемое качество и время (задайте до теста):
- Проверяем модели при одинаковых условиях или целые рабочие процессы:
- Дата и период пилота:

## 2. Конфигурации

| Параметр | Локальный вариант | Облачный вариант |
| --- | --- | --- |
| Название и версия модели | | |
| Приложение / API / режим | | |
| Квантование, если применимо | | |
| Оборудование / тариф | | |
| Контекст и настройки генерации | | |
| Доступные инструменты и поиск | | |
| Где читаются документы и строится индекс | | |
| Условия хранения и обучения | | |
| Сеть, параллельные пользователи, другие программы | | |

## 3. Карточка задания — копируйте для каждого примера

- ID:
- Исходный материал и разрешение на обработку:
- Точный запрос:
- Правильные факты и источник либо проверка поведения:
- Критерии принятия:
- Что модель должна сделать, если данных недостаточно:
- Критические ошибки:

Добавьте обычные задания, вопрос без ответа в материалах и случай с противоречивыми данными. Храните ключ проверки отдельно от входа модели. Для первого пилота можно взять 12 заданий, но состав должен соответствовать вашей работе.

## 4. Журнал — одна строка на попытку

| ID | Вариант и запуск | Время до первого видимого ответа, с | Время до полного ответа, с | Проверка и исправления, мин | Ошибка | Принят по заданным критериям? | Стоимость использования |
| --- | --- | --- | --- | --- | --- | --- | --- |
| | | | | | | | |

Отмечайте, была ли модель уже загружена. Не складывайте технические метрики разных программ без проверки их определений. Не скрывайте неудачные попытки. Если исправления привели к принятому результату, учитывайте всё потраченное время.

## 5. Расчёт за одинаковый объём и период

- Дополнительное оборудование за вычетом учитываемой остаточной стоимости / срок использования:
- Первичная настройка / тот же срок:
- Платежи за сервис, лицензии и интеграции:
- Дополнительная энергия:
- Обслуживание и администрирование (часы × стоимость часа):
- Проверка и исправления (часы × стоимость часа):
- Другие расходы:
- Какие общие затраты исключены из обоих вариантов:
- Всего принятых результатов:

Стоимость принятого результата = расходы на весь сравниваемый объём, включая неудачные попытки, / количество принятых результатов. При нуле принятых результатов показатель не определяется.

Не переносите результат маленького пилота на все будущие задачи. Отдельно перепроверьте длинные документы, пиковую нагрузку и изменения версии модели.

## 6. Итог пилота

- Выбранный вариант и почему:
- Для каких задач вывод действителен:
- Что не прошло проверку:
- Какие ограничения остались:
- Когда повторить тест: