Логотип GPT4All

GPT4All + LLMost: подключение и настройка

Обновлено:

Что такое GPT4All

GPT4All — бесплатное десктопное приложение с открытым исходным кодом (лицензия MIT) от компании Nomic AI (Нью-Йорк) для запуска больших языковых моделей локально, на обычном компьютере, без облака и без обязательного GPU.

Это не одна модель, а целый рантайм: каталог моделей, чат-интерфейс, RAG над собственными документами (LocalDocs), Python SDK и локальный OpenAI-совместимый API-сервер. Движок инференса — llama.cpp, модели в формате GGUF (Llama, Mistral, Qwen, Phi, DeepSeek и др.).

Технически при одинаковой модели и квантовании скорость у GPT4All, Ollama и LM Studio почти одинакова — разница в обвязке: интерфейс, каталог и простота настройки. GPT4All позиционируется как самый дружелюбный к новичкам локальный LLM-инструмент.

Что GPT4All умеет

  • Локальный чат — история, выбор модели, системный промпт, шаблоны чата, настройки семплирования, полностью офлайн
  • Model Gallery — курируемый каталог протестированных моделей; можно подключать любые совместимые GGUF с Hugging Face
  • LocalDocs (RAG) — индексация выбранных папок с документами (TXT, PDF, Markdown) в локальные векторы, поиск релевантных фрагментов и подстановка в промпт с указанием источников
  • Локальный OpenAI-совместимый сервер — http://localhost:4891/v1, по умолчанию выключен, слушает только 127.0.0.1, без аутентификации и HTTPS. Подходит для прототипов на одном устройстве
  • Python SDK — за две строки подключает генерацию в скрипты
  • Подключение облачных провайдеров — OpenAI, Groq, Mistral и прочие, включая LLMost как OpenAI-совместимый endpoint

Платформы: Windows, Windows ARM, macOS (Monterey 12.6+), Ubuntu/Linux x86-64, есть community-сборка на Flathub.

Требования

  • Аккаунт LLMost с API-ключом (формат llmost_...)
  • Приложение GPT4All, установленное с gpt4all.io
  • Для комфортной работы локальных моделей — минимум 8 ГБ ОЗУ (желательно 16 ГБ)

Подключение LLMost

GPT4All позволяет подключить произвольный OpenAI-совместимый провайдер, поэтому LLMost добавляется как кастомный endpoint.

  1. Создайте ключ на странице Ключи API (формат llmost_...).
  2. Откройте GPT4All и перейдите в настройки подключения модели.
  3. Добавьте кастомного провайдера OpenAI-совместимого типа.
  4. Заполните поля:
    • Название: LLMost
    • Base URL: https://llmost.ru/api/v1
    • API key: ваш ключ llmost_...
    • Модель: модель из каталога LLMost, например ~anthropic/claude-sonnet-latest
  5. Сохраните настройки.

Так выглядит заполненная форма подключения LLMost:

Форма подключения LLMost в GPT4All: название «LLMost», базовый URL https://llmost.ru/api/v1, поле API key и выбранная модель

Убедитесь, что Base URL указан ровно как https://llmost.ru/api/v1 (без /chat/completions на конце).

⚠️ Встроенный локальный сервер GPT4All (http://localhost:4891/v1) служит только для локальных GGUF-моделей на том же устройстве. Для работы с моделями каталога LLMost используйте облачный endpoint https://llmost.ru/api/v1 — данные будут обрабатываться на серверах LLMost, а не офлайн.

Выбор модели

Модель указывается в формате vendor/model — скопируйте слаг из каталога моделей LLMost. Хорошие стартовые варианты:

  • ~anthropic/claude-sonnet-latest — максимальное качество для рассуждений и длинных историй, контекст 1 млн токенов;
  • ~google/gemini-flash-latest — быстрая и дешёвая, подходит для очень длинных чатов;
  • ~deepseek/deepseek-v3.2-20251201 — недорогая и «живая», оптимальный старт.

Алиасы, начинающиеся с ~, всегда указывают на актуальную версию модели — такой конфиг не устареет.

Проверка

Начните новый чат в GPT4All, выберите провайдер LLMost и отправьте любое сообщение. Если пришёл ответ — подключение настроено правильно.

Чтобы проверить подключение в обход GPT4All, выполните запрос напрямую:

curl https://llmost.ru/api/v1/chat/completions \
  -H "Authorization: Bearer llmost_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "~google/gemini-flash-latest",
    "messages": [{"role": "user", "content": "Привет!"}]
  }'

Частые проблемы

Ответ не приходит / ошибка сети. Проверьте, что Base URL указан точно как https://llmost.ru/api/v1 и что API-ключ скопирован полностью.

Ошибка 401. Ключ скопирован не полностью или удалён. Создайте новый на странице Ключи API.

Ошибка 402 «Недостаточно средств». Пополните баланс LLMost в личном кабинете.

Модель не найдена. Убедитесь, что модель существует в каталоге моделей LLMost и написана в формате vendor/model (например, ~anthropic/claude-sonnet-latest).

Локальные модели не запускаются. Локальный сервер GPT4All требует CPU с AVX/AVX2 и достаточно ОЗУ. Для работы с моделями LLMost локальный сервер не нужен — используется облачный endpoint.

Ссылки

Начните работать с ИИ сегодня

Получите доступ к 300+ моделям, включая GPT-5.5, Claude и Gemini. Без VPN, без иностранных карт. Без привязки карты.

GPT4All: как подключить локальный чат к LLMost | LLMost