AnythingLLM: как подключить свой API — настройка RAG-платформы

Что такое AnythingLLM

AnythingLLM от компании Mintplex Labs — платформа для работы с личными и корпоративными документами с помощью ИИ (RAG). Она объединяет в одном интерфейсе загрузку документов, векторный поиск, чат с документами и создание autonomous-агентов с инструментами. Не требует программирования для базовых сценариев — достаточно загрузить файлы и начать задавать вопросы.

AnythingLLM выпускается в трёх вариантах:

Desktop — однофайловое приложение для macOS, Windows и Linux под лицензией MIT. Идеально для личного использования и экспериментов, нулевой порог входа.
Docker — саморазмещаемая версия для команд и организаций с поддержкой нескольких пользователей, ролевого доступа (Admin / Manager / Default) и белого брендинга.
Cloud — управляемое облачное рабочее пространство без развёртывания инфраструктуры самостоятельно.

Платформа не привязана к одному провайдеру: можно подключать локальные модели (через Ollama, LM Studio, llama.cpp) и облачные API — OpenAI, Anthropic, Google Gemini, Azure OpenAI, Groq и многие другие. Встроенная векторная база LanceDB, но поддерживаются Chroma, Milvus, Pinecone, Qdrant, Weaviate, PGVector и другие.

Требования

macOS, Windows или Linux
Приложение AnythingLLM Desktop (официальный сайт) либо Docker для саморазмещённой версии
Аккаунт LLMost с API-ключом (формат llmost_...)

Установка

AnythingLLM Desktop

Скачайте установщик с anythingllm.com.
Установите приложение и запустите его.
При первом запуске создайте рабочее пространство (workspace) — оно будет использоваться для хранения документов и чатов.

AnythingLLM на Docker

docker run -d -p 3001:3001 \
  --name anythingllm \
  mintplexlabs/anythingllm

Затем откройте http://localhost:3001 и пройдите первичную настройку.

Подключение LLMost

AnythingLLM позволяет подключить любую модель через OpenAI-совместимый endpoint. Чтобы заставить платформу работать на моделях каталога LLMost:

Создайте ключ на странице Ключи API (формат llmost_...).
В AnythingLLM перейдите в настройки подключения модели (раздел Provider / Model) и нажмите Ручная настройка.
Выберите тип провайдера Generic OpenAI (любой OpenAI-совместимый сервис через кастомную конфигурацию).
Заполните поля:
- Base URL: https://llmost.ru/api/v1
- API Key: ваш ключ llmost_...
- Selected Model: модель из каталога LLMost, например ~anthropic/claude-sonnet-latest
Сохраните настройки — платформа готова к работе.

Убедитесь, что Base URL указан ровно как https://llmost.ru/api/v1 (без /chat/completions на конце).

Выбор модели

Для работы с документами и агентских задач модель должна поддерживать tool calling. Хорошие варианты из каталога LLMost:

~anthropic/claude-sonnet-latest — лучший выбор для агентной работы, контекст 1 млн токенов;
~openai/gpt-latest — универсальная флагманская альтернатива;
~google/gemini-flash-latest — заметно дешевле при хорошем качестве.

Алиасы, начинающиеся с ~, всегда указывают на актуальную версию модели. Полный список с ценами — в каталоге моделей LLMost.

Проверка

Загрузите любой документ в рабочее пространство AnythingLLM и задайте вопрос по содержанию документа. Если платформа ответила со ссылкой на источник — подключение к LLMost работает.

Чтобы проверить endpoint в обход AnythingLLM, выполните запрос напрямую:

curl https://llmost.ru/api/v1/chat/completions \
  -H "Authorization: Bearer llmost_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "~google/gemini-flash-latest",
    "messages": [{"role": "user", "content": "Привет!"}]
  }'

Частые проблемы

Не находит модели после подключения. Убедитесь, что Base URL указан ровно как https://llmost.ru/api/v1, без /chat/completions на конце, и что ключ скопирован полностью:

curl https://llmost.ru/api/v1/models -H "Authorization: Bearer llmost_..."

Ошибка 401. Ключ скопирован не полностью или удалён. Создайте новый на странице Ключи API.

Ошибка 402 «Недостаточно средств». Пополните баланс LLMost в личном кабинете. Агент с инструментами расходует заметно больше токенов, чем обычный чат.

Плохое качество ответов из документов. AnythingLLM позволяет тонко настроить процесс извлечения: максимальное количество контекстных фрагментов и пороговое значение схожести. Попробуйте увеличить количество фрагментов или понизить порог схожести в настройках рабочего пространства.

Ссылки

Официальный сайт: anythingllm.com
GitHub: Mintplex Labs
Документация: docs.anythingllm.com
Другие приложения — в каталоге ИИ-агентов

AnythingLLM + LLMost: установка и настройка