Локальная нейросеть для программирования: первый запуск через Ollama

Для первого запуска локальной модели возьмите короткую задачу, ответ которой можете проверить: объяснить функцию, найти ошибку или написать несколько тестов. Ниже установим Ollama, получим первый ответ и попробуем функцию обработки имён. Большую модель можно выбирать позже, когда станет понятно, с чем не справляется небольшая.

Ollama запускает модели и даёт интерфейс для обращения к ним. В этом руководстве берём локальный вариант Qwen2.5-Coder 1.5B как небольшой учебный пример. Лучшей моделью на сегодня мы его не называем и качества на больших проектах не обещаем.

• Карточка модели

Установка и первый ответ

Установите Ollama по официальной инструкции для своей системы и запустите приложение или службу. В терминале проверьте:

• Ollama: установка и первый запуск

ollama --version
ollama run qwen2.5-coder:1.5b

При первом запуске модель загружается из интернета, поэтому понадобятся подключение к сети и место на диске. Когда появится приглашение к вводу, задайте короткий вопрос по коду. Выйти из сессии можно командой `/bye`.

Не оценивайте скорость по одному первому ответу: загрузка модели и генерация — разные этапы. Сначала добейтесь повторяемого ответа на небольшой запрос.

Учебная задача с проверяемым результатом

Попросите модель написать функцию со строгими условиями:

Напиши функцию Python unique_names(names). Она принимает список строк, удаляет пробелы по краям, исключает пустые строки и повторы без учёта регистра. Порядок первых вхождений и их написание после удаления пробелов сохрани. Верни код и три теста. Не добавляй зависимости.

Заранее зафиксируйте ожидаемые результаты, например:

assert unique_names([" Anna ", "anna", "", "BOB"]) == ["Anna", "BOB"]
assert unique_names([]) == []
assert unique_names([" A ", "a", "B", "b"]) == ["A", "B"]

Это наши критерии для задачи. Результатом замера модели они не являются. Сначала прочитайте предложенный код, затем выполните проверки в тестовом окружении. Если функция меняет порядок или регистр первой строки, укажите конкретное расхождение и запросите исправление.

Такой опыт показывает, следует ли модель вашим условиям. Что она сможет сама менять большой репозиторий, из него не следует.

Как обратиться к модели из программы

У Ollama есть локальный HTTP API. В macOS, Linux или WSL запрос выглядит так:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5-coder:1.5b",
  "prompt": "Explain the difference between a Python list and a tuple.",
  "stream": false
}'

Здесь `stream: false` запрашивает единый ответ вместо потока частей. Поля описаны в документации generate. Запрос проверяет, что API доступен. Ко всем функциям редактора модель от этого не подключится.

• Ollama: параметры запроса generate

Перед подключением к редактору проверьте, поддерживает ли его расширение Ollama или совместимый локальный сервер. Затем укажите адрес сервера и точное имя установленной модели. Если модель отвечает в чате, это ещё не значит, что поддерживаются все инструменты агентной разработки.

Что значит «работает локально»

По заявлению Ollama, при локальном запуске модели сервис не получает ваши промпты и ответы. У облачных моделей другой путь обработки. Редактор, плагины и внешние инструменты тоже могут обращаться к своим сервисам, так что проверяйте всю связку.

• FAQ Ollama

Для работы без облачных функций в Ollama есть режим local-only. Но не называйте рабочий процесс полностью офлайн, пока не проверили загрузку зависимостей, обращения расширений и поведение инструментов. Первую пробу проводите на учебном коде.

Если ответ слишком медленный

Выполните `ollama ps`. Команда покажет загруженные модели и то, как выполнение делится между CPU и GPU. Так понятнее, где искать ограничение.

• Диагностика размещения модели

Затем меняйте по одному условию: уменьшите модель, сократите входной текст или снизьте заданный контекст. Закройте другие тяжёлые приложения и повторите ту же задачу. Не выкручивайте контекст на максимум по привычке: память нужна не только весам модели.

Для сравнения запусков достаточно записывать модель и тег, оборудование, контекст, запрос, время и результат тестов. «Быстро ответила» без проверки кода мало что говорит о том, годится ли конфигурация для работы.