Параметры

Параметры выборки формируют процесс генерации токенов модели. Вы можете отправлять любые параметры из следующего списка, а также другие, в LLMost.

LLMost будет использовать значения по умолчанию, указанные ниже, если определенные параметры отсутствуют в вашем запросе (например, temperature по умолчанию 1.0). Мы также будем передавать некоторые специфичные для провайдера параметры, такие как safe_prompt для Mistral или raw_mode для Hyperbolic напрямую соответствующим провайдерам, если они указаны.

Temperature

• Ключ: temperature
• Необязательный, float, 0.0 до 2.0
• По умолчанию: 1.0

Этот параметр влияет на разнообразие ответов модели. Более низкие значения приводят к более предсказуемым и типичным ответам, в то время как более высокие значения поощряют более разнообразные и менее распространенные ответы. При значении 0 модель всегда дает один и тот же ответ для данного входа.

Top P

• Ключ: top_p
• Необязательный, float, 0.0 до 1.0
• По умолчанию: 1.0

Этот параметр ограничивает выбор модели до процента вероятных токенов: только верхние токены, вероятности которых в сумме составляют P. Более низкое значение делает ответы модели более предсказуемыми, в то время как настройка по умолчанию позволяет полный диапазон выбора токенов. Думайте об этом как о динамическом Top-K.

Top K

• Ключ: top_k
• Необязательный, integer, 0 или выше
• По умолчанию: 0

Это ограничивает выбор токенов модели на каждом шаге, заставляя её выбирать из меньшего набора. Значение 1 означает, что модель всегда будет выбирать наиболее вероятный следующий токен, что приводит к предсказуемым результатам. По умолчанию эта настройка отключена, что позволяет модели рассматривать все варианты.

Frequency Penalty

• Ключ: frequency_penalty
• Необязательный, float, -2.0 до 2.0
• По умолчанию: 0.0

Этот параметр направлен на контроль повторения токенов на основе того, как часто они появляются во входных данных. Он пытается использовать реже те токены, которые чаще появляются во входных данных, пропорционально частоте их появления. Штраф за токен масштабируется с количеством появлений. Отрицательные значения будут поощрять повторное использование токенов.

Presence Penalty

• Ключ: presence_penalty
• Необязательный, float, -2.0 до 2.0
• По умолчанию: 0.0

Регулирует, как часто модель повторяет определенные токены, уже использованные во входных данных. Более высокие значения делают такое повторение менее вероятным, в то время как отрицательные значения делают наоборот. Штраф за токен не масштабируется с количеством появлений. Отрицательные значения будут поощрять повторное использование токенов.

Repetition Penalty

• Ключ: repetition_penalty
• Необязательный, float, 0.0 до 2.0
• По умолчанию: 1.0

Помогает уменьшить повторение токенов из входных данных. Более высокое значение делает модель менее склонной к повторению токенов, но слишком высокое значение может сделать вывод менее связным (часто с длинными предложениями, в которых отсутствуют маленькие слова). Штраф за токен масштабируется на основе исходной вероятности токена.

Min P

• Ключ: min_p
• Необязательный, float, 0.0 до 1.0
• По умолчанию: 0.0

Представляет минимальную вероятность рассмотрения токена относительно вероятности наиболее вероятного токена. (Значение изменяется в зависимости от уровня уверенности наиболее вероятного токена.) Если ваш Min-P установлен на 0.1, это означает, что будут рассматриваться только токены, которые по крайней мере в 1/10 раз более вероятны, чем лучший возможный вариант.

Top A

• Ключ: top_a
• Необязательный, float, 0.0 до 1.0
• По умолчанию: 0.0

Рассматривать только верхние токены с "достаточно высокими" вероятностями на основе вероятности наиболее вероятного токена. Думайте об этом как о динамическом Top-P. Более низкое значение Top-A фокусирует выбор на основе токена с наивысшей вероятностью, но с более узкой областью. Более высокое значение Top-A не обязательно влияет на креативность вывода, а скорее уточняет процесс фильтрации на основе максимальной вероятности.

Seed

• Ключ: seed
• Необязательный, integer

Если указано, вывод будет выполняться детерминированно, так что повторные запросы с одинаковым seed и параметрами должны возвращать одинаковый результат. Детерминизм не гарантирован для некоторых моделей.

Max Tokens

• Ключ: max_tokens
• Необязательный, integer, 1 или выше

Это устанавливает верхний лимит для количества токенов, которые модель может сгенерировать в ответ. Она не будет генерировать больше этого лимита. Максимальное значение - это длина контекста минус длина промпта.

Logit Bias

• Ключ: logit_bias
• Необязательный, map

Принимает объект JSON, который отображает токены (указанные их ID токена в токенизаторе) на связанное значение смещения от -100 до 100. Математически смещение добавляется к логитам, сгенерированным моделью перед выборкой. Точный эффект будет варьироваться для каждой модели, но значения между -1 и 1 должны уменьшать или увеличивать вероятность выбора; значения типа -100 или 100 должны приводить к запрету или эксклюзивному выбору соответствующего токена.

Logprobs

• Ключ: logprobs
• Необязательный, boolean

Возвращать ли логарифмические вероятности выходных токенов или нет. Если true, возвращает логарифмические вероятности каждого возвращенного выходного токена.

Top Logprobs

• Ключ: top_logprobs
• Необязательный, integer

Целое число от 0 до 20, указывающее количество наиболее вероятных токенов для возврата на каждой позиции токена, каждый со связанной логарифмической вероятностью. logprobs должен быть установлен в true, если используется этот параметр.

Response Format

• Ключ: response_format
• Необязательный, map

Заставляет модель производить определенный формат вывода. Установка в { "type": "json_object" } включает режим JSON, который гарантирует, что сообщение, генерируемое моделью, является валидным JSON.

Примечание: при использовании режима JSON вы также должны проинструктировать модель производить JSON самостоятельно через системное или пользовательское сообщение.

Structured Outputs

• Ключ: structured_outputs
• Необязательный, boolean

Может ли модель возвращать структурированные выводы, используя response_format json_schema.

Stop

• Ключ: stop
• Необязательный, array

Немедленно остановить генерацию, если модель встретит любой токен, указанный в массиве stop.

Tools

• Ключ: tools
• Необязательный, array

Параметр вызова инструментов, следующий форме запроса вызова инструментов OpenAI. Для провайдеров, отличных от OpenAI, он будет преобразован соответствующим образом. Нажмите здесь, чтобы узнать больше о вызове инструментов.

Tool Choice

• Ключ: tool_choice
• Необязательный, array

Контролирует, какой (если есть) инструмент вызывается моделью. none означает, что модель не будет вызывать никакой инструмент и вместо этого сгенерирует сообщение. auto означает, что модель может выбирать между генерацией сообщения или вызовом одного или нескольких инструментов. required означает, что модель должна вызвать один или несколько инструментов. Указание конкретного инструмента через {"type": "function", "function": {"name": "my_function"}} заставляет модель вызвать этот инструмент.

Parallel Tool Calls

• Ключ: parallel_tool_calls
• Необязательный, boolean
• По умолчанию: true

Включать ли параллельный вызов функций во время использования инструментов. Если true, модель может вызывать несколько функций одновременно. Если false, функции будут вызываться последовательно. Применяется только при предоставлении инструментов.

Verbosity

• Ключ: verbosity
• Необязательный, enum (low, medium, high)
• По умолчанию: medium

Контролирует детальность и длину ответа модели. Более низкие значения создают более краткие ответы, в то время как более высокие значения создают более подробные и исчерпывающие ответы.