RU ▾
Получить API-ключ

EmbeddingApisРуководство

Текстовый API без цензуры для вашего пайплайна

Создайте чат-бота на базе LLM с API в стиле OpenAI

Чат-бот на базе LLM — это цикл: взять сообщение пользователя, добавить его в сохранённую историю, отправить эту историю модели и опубликовать ответ. Это руководство создаёт этот цикл на Python, затем оборачивает его для Discord и охватывает лимиты и стоимость.

Обновлено

Ключевые моменты

  • Модель не имеет состояния, поэтому ваш бот должен хранить и повторно отправлять историю.

  • Используйте модель uncensored с OpenAI SDK и базовым URL сайта.

  • Ограничьте параллельные запросы до 8 и поставьте в очередь остальные, чтобы избежать ошибок 429.

  • Типичный ход чата стоит доли цента.

Диалоговые облачка по кругу вокруг консоли, подключённой к серверному кубу, иллюстрируют чат-бота, построенного на API LLM

Что должен делать бот

API ничего не помнит между вызовами. Каждый запрос должен содержать всю историю разговора, которую модель должна увидеть. Поэтому работа чат-бота — это в основном учёт: вести список сообщений для каждого пользователя или канала, добавлять новое сообщение, отправлять список, сохранять ответ и повторять.

Этот сервис — текстовый API, совместимый с OpenAI. Он работает на одной модели с открытыми весами, управляемой независимым провайдером и настроенной на ответы без отказов по содержанию для законного использования взрослыми. Эндпоинта для изображений, аудио или эмбеддингов нет, несмотря на то, что может подразумевать доменное имя, поэтому всё, что описано ниже, относится к chat completions. Контент сексуального характера с участием несовершеннолетних не разрешён.

Основной цикл на Python

Установите SDK с помощью pip install openai, экспортируйте ваш ключ как API_KEY и начните с консольной версии. Если у вас ещё нет ключа, на странице API-ключа предлагается $0,50 пробного баланса при регистрации.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

Это работающий бот. Всё остальное в этой статье делает его безопасным для запуска многими пользователями одновременно.

Напишите системный промпт, который работает стабильно

Системное сообщение — это место, где бот получает своё имя, тон и границы. Несколько привычек делают его устойчивым в длинных чатах:

  • Укажите роль и аудиторию в одном-двух предложениях.
  • Дайте правила формата: длина, язык, использование списков.
  • Перечислите, что бот должен делать, когда не знает ответа, например, задать вопрос.
  • Поместите постоянные факты, такие как правила сервера или детали продукта, в системное сообщение, а не в ходы чата.

Для художественной литературы, ролевых игр и ботов-компаньонов для взрослых добавьте здесь сеттинг и манеру речи персонажа, а также укажите, что персонаж остаётся в роли, пока пользователь не выйдет из неё. Протестируйте промпт с десятком или пятнадцатью каверзными сообщениями, прежде чем публиковать бота.

Храните одну историю на разговор

Глобальный список, как выше, смешает всех пользователей. Храните отдельную историю для каждого канала Discord, ID чата Telegram или веб-сессии. Словарь подходит для прототипа; используйте базу данных, когда бот должен пережить перезагрузки.

Контекст велик: 100 000 токенов, охватывающих промпт и ответ вместе. Даже так, не отправляйте всё подряд бесконечно. Длинные истории стоят дороже на каждом ходу и замедляют ответ. Простая политика — сохранять системное сообщение плюс последние 20 сообщений:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

Для ботов, которым нужна длинная память, таких как компаньоны, время от времени сжимайте старые сообщения в короткую заметку и храните заметку в начале истории.

Версия для Discord

С библиотекой discord.py бот отвечает, когда его упоминают. Вызовы API блокирующие, поэтому запускайте их в потоке, чтобы поддерживать соединение Discord.

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

Та же функция ask подключается к боту Telegram (python-telegram-bot) или небольшому веб-эндпоинту без изменений. Отличается только часть, которая получает и отправляет сообщения.

Лимиты, потоковая передача и ошибки

Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 и 60. Семафор в примере Discord удерживает вас ниже лимита параллельных запросов, заставляя лишние сообщения ждать. Если вы всё ещё видите HTTP 429, прочитайте код ошибки: rate_limited означает слишком много в минуту, concurrency означает слишком много одновременно, а заголовок Retry-After: 5 означает временную перегрузку. Подождите 5 секунд и попробуйте снова.

Для веб-окна чата установите stream в true и отправляйте токены в браузер по мере поступления, чтобы пользователи видели текст, а не ждали. Потоковая передача удерживает слот параллельных запросов до завершения, поэтому закрывайте её, когда посетитель уходит. Неудавшиеся или отклонённые запросы не оплачиваются, и каждый ответ включает X-Balance-USD, который вы можете использовать, чтобы предупредить себя, когда баланс иссякает.

Правила для вашего сообщества

Модель без цензуры отвечает более открыто, чем большинство хостинговых ассистентов, поэтому решите, что должен делать ваш бот. Модель предназначена для законного использования взрослыми, а сексуальный контент с участием несовершеннолетних — это строгий лимит сервиса. Если ваш бот работает на публичном сервере Discord или в группе Telegram, добавьте следующее самостоятельно:

  • Проверку возраста или ограничение каналами, помеченными для взрослых, когда бот настроен на художественные тексты для взрослых.
  • Строку в системном промпте, которая устанавливает допустимые темы и тон в этом пространстве.
  • Короткую команду, такую как /reset, которая очищает сохранённую историю, чтобы пользователи могли начать заново.
  • Базовое ограничение запросов на пользователя, например, один запрос каждые несколько секунд, чтобы один человек не использовал все 8 слотов параллельных запросов.

Правила платформы Discord, Telegram или вашего веб-хоста всё ещё применяются к боту. Прочитайте их, прежде чем приглашать его на сервер.

Запустите его в реальных условиях

Прототип на вашем ноутбуке становится сервисом, когда он переживает перезагрузки и сообщает вам, когда что-то ломается. Разумный чек-лист:

  1. Храните ключ в переменной окружения или хранилище секретов, никогда в репозитории.
  2. Сохраняйте истории в SQLite или Redis, используя ID чата в качестве ключа, и удаляйте те, которые бездействуют несколько дней.
  3. Логируйте X-Request-Id и код состояния HTTP для каждого вызова, чтобы отслеживать странные ответы.
  4. Читайте заголовок ответа X-Balance-USD и предупреждайте себя, когда баланс упадёт ниже выбранного вами уровня.
  5. Установите тайм-аут на клиенте, например 60 секунд, и отправьте короткое извиняющееся сообщение, если он сработает.
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

Настройте два параметра в первую очередь, когда ответы кажутся неверными. Уменьшите temperature до 0,5 для фактических помощников и увеличьте его до 1,0 для творческих персонажей. Используйте последовательности stop, если модель склонна писать следующую строку пользователя, и небольшой frequency_penalty, если она повторяется.

Сколько стоит чат

Цены: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов. Возьмите бота, который обрабатывает 1 000 ходов в день, где каждый ход отправляет около 2 000 входных токенов (системный промпт плюс история) и возвращает около 300 токенов.

  • Вход: 1 000 × 2 000 = 2 000 000 токенов, что составляет 2 × $0,15 = $0,30.
  • Вывод: 1 000 × 300 = 300 000 токенов, что составляет 0,3 × $0,50 = $0,15.
  • Итого: $0,45 в день за 1 000 диалоговых ходов.

Основной рычаг — сокращение истории, так как доминируют входные токены. Баланс предоплаченный, не сгорает, подписки нет. Пополняйте на любую сумму от $20 до $500 криптовалютой (USDT в сети TRC20, USDC в сети Base). При пополнении от $50 — бонус +5%, от $100 — +10%, от $200 — +15%. Подробности на странице с ценами, полный список параметров — в документации. Промпты не используются для обучения.

Вопросы и ответы

Нужна ли специальная библиотека для создания чат-бота на LLM с этим API?

Нет. Официальные SDK OpenAI работают после того, как вы укажете базовый URL и ключ. Используйте идентификатор модели uncensored.

Запоминает ли API предыдущие сообщения?

Нет. Вы должны отправлять историю разговора вместе с каждым запросом. Храните её для каждого чата и сокращайте по мере роста.

Сколько пользователей может обслуживать бот одновременно?

Полный ключ позволяет 8 параллельных запросов и 300 в минуту. Помещайте дополнительные сообщения в очередь, чтобы ваш бот оставался в этих лимитах.

Можно ли оплатить картой?

Да. Пополнение принимается криптовалютой (USDT в сети TRC20, USDC в сети Base) на сумму от $20 до $500.

Может ли тот же бот также создавать эмбеддинги или изображения?

Нет. Сервис работает только с текстом, без эндпоинтов для эмбеддингов, изображений, аудио или видео.

Ваш ключ — всего в одной форме отсюда

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключЧитать документацию