FR ▾
Obtenir une clé API

EmbeddingApisGuide

API de texte sans censure pour votre pipeline

Créez un chatbot LLM avec une API de style OpenAI

Un chatbot LLM est une boucle : prendre le message de l'utilisateur, l'ajouter à un historique stocké, envoyer cet historique à un modèle et poster la réponse. Ce guide construit cette boucle en Python, puis l'adapte pour Discord et couvre les limites et le coût.

Mis à jour le

Points clés

  • Le modèle est sans état, donc votre bot doit stocker et renvoyer l'historique.

  • Utilisez le modèle uncensored avec le SDK OpenAI et l'URL de base du site.

  • Limitez la concurrence à 8 et mettez le reste en file d'attente pour éviter les erreurs 429.

  • Un tour de chat typique coûte une fraction de centime.

Bulles de conversation en boucle autour d'une console reliée à un cube serveur, illustrant un chatbot construit sur une API LLM

Ce que le bot doit faire

L'API ne retient rien entre les appels. Chaque requête doit contenir l'intégralité de la conversation que vous souhaitez que le modèle voie. Le travail d'un chatbot consiste donc surtout à tenir les comptes : conservez une liste de messages par utilisateur ou canal, ajoutez le nouveau message, envoyez la liste, stockez la réponse et répétez.

Ce service est une API compatible OpenAI, uniquement textuelle. Il exécute un modèle à poids ouverts, géré par un fournisseur indépendant et ajusté pour répondre sans refus de contenu pour un usage adulte légal. Il n'y a pas d'endpoint pour les images, l'audio ou les embeddings, malgré ce que le nom de domaine pourrait suggérer, donc tout ce qui suit concerne les complétions de chat. Le contenu sexuel impliquant des mineurs n'est pas autorisé.

La boucle principale en Python

Installez le SDK avec pip install openai, exportez votre clé en tant que API_KEY et commencez avec une version console. Si vous n'avez pas encore de clé, la page Clé API offre 0,50 $ de crédit d'essai gratuit à l'inscription.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

C'est un bot fonctionnel. Tout le reste dans cet article le rend sûr à exécuter pour de nombreuses personnes à la fois.

Rédigez un prompt système qui tient dans la durée

Le message système est l'endroit où le bot acquiert son nom, son ton et ses limites. Quelques habitudes permettent de le maintenir sur la durée lors de longues conversations :

  • Indiquez le rôle et l'audience en une ou deux phrases.
  • Donnez des règles de format : longueur, langue, s'il faut utiliser des listes.
  • Listez ce que le bot doit faire lorsqu'il ne sait pas quelque chose, par exemple poser une question.
  • Placez les faits durables, comme les règles du serveur ou les détails du produit, dans le message système et non dans les tours de chat.

Pour la fiction, le jeu de rôle et les bots compagnons pour adultes, ajoutez ici le cadre et la voix du personnage, et précisez que le personnage reste en rôle sauf si l'utilisateur en sort. Testez le prompt avec dix ou quinze messages tordus avant de publier le bot.

Conservez un historique par conversation

Une liste globale comme celle ci-dessus mélangerait tous les utilisateurs. Stockez un historique séparé par canal Discord, ID de chat Telegram ou session web. Un dictionnaire convient pour un prototype ; utilisez une base de données lorsque le bot doit survivre aux redémarrages.

La fenêtre de contexte est grande : 100 000 tokens couvrant le prompt et la réponse. Cependant, n'envoyez pas tout pour toujours. Les longs historiques coûtent plus cher à chaque tour et ralentissent la réponse. Une politique simple consiste à conserver le message système ainsi que les 20 derniers messages :

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

Pour les bots ayant besoin d'une longue mémoire, comme les compagnons, résumez les messages anciens en une courte note de temps en temps et gardez la note près du haut de l'historique.

Une version Discord

Avec la bibliothèque discord.py, le bot répond lorsqu'il est mentionné. Les appels à l'API sont bloquants, donc exécutez-les dans un thread pour maintenir la connexion Discord active.

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

La même fonction ask s'adapte à un bot Telegram (python-telegram-bot) ou à un petit endpoint web sans modifications. Seule la partie qui reçoit et envoie des messages diffère.

Limites, streaming et erreurs

Une clé complète permet 8 requêtes simultanées et 300 requêtes par minute. Une clé d'essai permet 2 et 60. Le sémaphore dans l'exemple Discord vous maintient sous le plafond de concurrence en faisant attendre les messages supplémentaires. Si vous voyez encore une erreur HTTP 429, lisez le code d'erreur : rate_limited signifie trop de requêtes par minute, concurrency signifie trop de requêtes à la fois, et un en-tête Retry-After: 5 signifie une surcharge temporaire. Attendez 5 secondes et réessayez.

Pour une fenêtre de chat web, définissez stream sur true et envoyez les tokens au navigateur à leur arrivée, afin que les utilisateurs voient le texte apparaître au lieu d'attendre. Un flux occupe un slot de concurrence jusqu'à sa fin, fermez-le donc lorsque le visiteur part. Les requêtes échouées ou refusées ne sont pas facturées, et chaque réponse inclut X-Balance-USD, que vous pouvez utiliser pour vous avertir avant l'épuisement du crédit.

Règles pour votre communauté

Un modèle sans censure répond plus ouvertement que la plupart des assistants hébergés, donc décidez ce que votre propre bot doit faire. Le modèle est destiné à un usage adulte légal, et le contenu sexuel impliquant des mineurs est une limite stricte du service. Si votre bot fonctionne sur un serveur Discord public ou dans un groupe Telegram, ajoutez ce qui suit vous-même :

  • Une vérification d'âge ou une restriction aux canaux marqués pour adultes lorsque le bot est configuré pour la fiction mature.
  • Une ligne dans le prompt système qui définit les sujets et le ton autorisés dans cet espace.
  • Une courte commande, telle que /reset, qui efface l'historique stocké afin que les utilisateurs puissent recommencer.
  • Une limitation de débit de base par utilisateur, par exemple une requête toutes les quelques secondes, afin qu'une seule personne ne puisse pas utiliser les 8 slots de concurrence.

Les règles de la plateforme de Discord, Telegram ou de votre hébergeur web s'appliquent toujours au bot. Lisez-les avant de l'inviter dans un serveur.

Lancez-le en conditions réelles

Un prototype sur votre ordinateur portable devient un service lorsqu'il survit aux redémarrages et vous signale quand quelque chose se brise. Une liste de vérification raisonnable :

  1. Conservez la clé dans une variable d'environnement ou un magasin de secrets, jamais dans le dépôt.
  2. Persistez les historiques dans SQLite ou Redis, indexés par ID de chat, et supprimez ceux qui sont inactifs depuis plusieurs jours.
  3. Journalisez X-Request-Id et le statut HTTP pour chaque appel afin que vous puissiez tracer les réponses étranges.
  4. Lisez X-Balance-USD dans les en-têtes de réponse et alertez-vous lorsque le solde tombe en dessous d'un niveau que vous choisissez.
  5. Définissez un délai d'attente sur le client, par exemple 60 secondes, et envoyez un court message d'excuse s'il se déclenche.
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

Ajustez d'abord deux paramètres lorsque les réponses semblent incorrectes. Diminuez temperature vers 0,5 pour les assistants factuels, et augmentez-le vers 1,0 pour les personnages créatifs. Utilisez des séquences stop si le modèle a tendance à écrire la prochaine ligne de l'utilisateur, et un petit frequency_penalty s'il se répète.

Combien coûte une conversation

Le tarif est de 0,15 $ par million de tokens d'entrée et de 0,50 $ par million de tokens de sortie. Prenons un bot qui gère 1 000 tours par jour, où chaque tour envoie environ 2 000 tokens d'entrée (prompt système plus historique) et retourne environ 300 tokens.

  • Entrée : 1 000 × 2 000 = 2 000 000 tokens, ce qui représente 2 × 0,15 $ = 0,30 $.
  • Sortie : 1 000 × 300 = 300 000 tokens, ce qui représente 0,3 × 0,50 $ = 0,15 $.
  • Total : 0,45 $ par jour pour 1 000 tours.

La réduction de l'historique est le principal levier, car les tokens d'entrée dominent. Le crédit est prépayé, n'expire jamais et il n'y a pas d'abonnement. Rechargez avec n'importe quel montant entier de 20 $ à 500 $, par crypto (USDT sur TRC20, USDC sur Base), avec un bonus de +5 % à partir de 50 $, +10 % à partir de 100 $ et +15 % à partir de 200 $. Consultez la page de tarification pour les détails et la documentation pour la liste complète des paramètres. Les prompts ne sont pas utilisés pour l'apprentissage.

Questions et réponses

Dois-je utiliser une bibliothèque spéciale pour créer un chatbot LLM avec cette API ?

Non. Les SDK officiels OpenAI fonctionnent après avoir défini l'URL de base et la clé. Utilisez l'ID de modèle uncensored.

L'API conserve-t-elle le souvenir des messages précédents ?

Non. Vous devez envoyer l'historique de la conversation avec chaque requête. Stockez-le par session de chat et réduisez-le à mesure qu'il s'allonge.

Combien d'utilisateurs le bot peut-il servir simultanément ?

Une clé complète permet 8 requêtes simultanées et 300 par minute. Mettez en file d'attente les messages supplémentaires pour que votre bot reste dans ces limites.

Puis-je payer par carte ?

Oui. Les recharges acceptent la crypto (USDT sur TRC20, USDC sur Base), de 20 $ à 500 $.

Le même bot peut-il également créer des embeddings ou des images ?

Non. Le service est uniquement textuel, sans endpoints pour les embeddings, les images, l'audio ou la vidéo.

Votre clé n'est qu'à un formulaire de distance

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé APILire la documentation