Локальный AI-агент для программирования с Ollama

Используйте Ollama в качестве провайдера моделей для Andromity, чтобы выполнять инференс на своём компьютере. Локальный инференс избавляет от расходов на API облачных моделей. При этом оборудование, загрузка моделей и электроэнергия по-прежнему требуют затрат, а эффективность выполнения задач зависит от модели и доступной памяти.

Установите Ollama и загрузите модельСкопировать ссылку на заголовок

Установите Ollama, затем загрузите модель с поддержкой вызова инструментов. В этом примере используется семейство Qwen3, приведённое в документации Ollama по вызову инструментов:

ollama pull qwen3:8b
ollama list
curl http://localhost:11434/api/tags

В Windows PowerShell проверьте работу сервиса командой Invoke-RestMethod http://localhost:11434/api/tags. Если эндпоинт отклоняет подключения, запустите приложение Ollama или выполните ollama serve.

Выберите модель, с которой ваше оборудование справляется без труда. Длина контекста и квантование влияют на потребление памяти; сам по себе размер модели не гарантирует, что она справится с задачами в репозитории.

Выберите модель в AndromityСкопировать ссылку на заголовок

Откройте выбор модели командой /model в терминале или с помощью элемента выбора модели в VS Code. Выберите Ollama и точный тег загруженной модели из вывода ollama list. Эндпоинт по умолчанию — http://localhost:11434.

Чтобы сохранить выбор, объедините эти параметры с существующей конфигурацией:

[default]
provider = "ollama"
model = "qwen3:8b"
profile = "builder"
permission_mode = "safe"

[[providers]]
name = "ollama"
type = "ollama"
base_url = "http://localhost:11434"

Файл конфигурации — ~/.andromity/config.toml в macOS/Linux или %APPDATA%\andromity\config.toml в Windows, если каталог не переопределён переменной ANDROMITY_CONFIG_DIR. При редактировании файла сохраните существующие записи провайдеров.

Проверьте работу на небольшой задачеСкопировать ссылку на заголовок

Прежде чем включать инструменты репозитория, отметьте как доверенный репозиторий, который вы контролируете. Начните в режиме SAFE с одной ошибки, одного файла и одного теста:

Find the function that handles an empty search query. Propose a minimal fix, add one regression test, and run the relevant test. Ask before adding dependencies.

Проверьте предложенный подход, вывод инструментов и diff. Модель, которая отвечает на вопросы о коде, всё равно может плохо справляться с инструментами. Считайте пройденный тест подтверждением конкретного поведения, которое он проверяет, а не доказательством корректности всего патча.

Устранение неполадокСкопировать ссылку на заголовок

• Отказ в подключении (connection refused): убедитесь, что Ollama работает и эндпоинт доступен.
• Модель не найдена: сравните выбранный тег с выводом ollama list, затем загрузите или выберите правильный тег.
• Нет вызовов инструментов: проверьте, поддерживает ли модель вызов инструментов, и упростите задачу. Изменение разрешений не добавляет модели новых возможностей.
• Медленный вывод или нехватка памяти: используйте модель меньшего размера, сократите контекст и проверьте объём доступной системной памяти.

Локальный инференс и доступ к сетиСкопировать ссылку на заголовок

Если выбран локальный эндпоинт Ollama, инференс модели выполняется на этом эндпоинте. Для первоначальной загрузки нужен доступ в интернет. Веб-инструменты, удалённые MCP-серверы, установка пакетов, телеметрия или другой выбранный провайдер по-прежнему могут использовать сеть. Прежде чем считать весь рабочий процесс офлайновым, изучите раздел о конфигурации и телеметрии.

Прочитайте пошаговое руководство по локальному агенту для программирования, чтобы пройти весь процесс первой задачи, или вернитесь к быстрому старту.

Остальные страницы документации доступны на английском языке. Открыть документацию на английском