NL ▾
API-sleutel aanvragen

EmbeddingApisHandleiding

Ongecensureerde tekst-API voor je pipeline

Bouw een op LLM gebaseerde chatbot met een OpenAI-compatibele API

Een op een LLM gebaseerde chatbot is een lus: neem het bericht van de gebruiker, voeg het toe aan de opgeslagen geschiedenis, stuur die geschiedenis naar een model en plaats het antwoord. Deze gids bouwt die lus in Python, maakt er een wrapper voor Discord van en behandelt limieten en kosten.

Bijgewerkt

Belangrijkste punten

  • Het model is staatloos, dus je bot moet de geschiedenis opslaan en opnieuw verzenden.

  • Gebruik model uncensored met de OpenAI SDK en de base URL van de site.

  • Beperk gelijktijdigheid tot 8 en zet de rest in de wachtrij om 429-fouten te vermijden.

  • Een typische chatbeurt kost een fractie van een cent.

Spreekbellen die rond een console draaien die is verbonden met een serverblok, illustrerend een chatbot gebouwd op een LLM API

Wat de bot moet doen

De API onthoudt niets tussen aanroepen. Elk verzoek moet de volledige conversatie bevatten die het model moet zien. Dus het werk van een chatbot bestaat grotendeels uit administratie: houd een lijst van berichten bij per gebruiker of kanaal, voeg het nieuwe bericht toe, stuur de lijst, sla het antwoord op en herhaal.

Deze dienst is een OpenAI-compatibele API die alleen tekst ondersteunt. Het draait één open-weight model, beheerd door een onafhankelijke provider en afgestemd op antwoorden zonder inhoudelijke weigeringen voor legaal gebruik door volwassenen. Er is geen endpoint voor afbeeldingen, audio of embeddings, ondanks wat de domeinnaam suggereert, dus alles hieronder gaat over chatcompleties. Seksuele inhoud met minderjarigen is niet toegestaan.

De kernlus in Python

Installeer de SDK met pip install openai, exporteer je sleutel als API_KEY en begin met een consoleversie. Als je nog geen sleutel hebt, biedt de API-sleutelpagina $0,50 aan gratis proeftegoed bij registratie.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

Dat is een werkende bot. Alles wat volgt in dit artikel maakt het veilig om voor veel mensen tegelijk te draaien.

Schrijf een systeemprompt die standhoudt

Het systeembericht is waar de bot zijn naam, toon en grenzen krijgt. Enkele gewoontes zorgen ervoor dat het standhoudt tijdens lange chats:

  • Geef de rol en het publiek aan in één of twee zinnen.
  • Geef formatregels: lengte, taal, of lijsten gebruikt moeten worden.
  • Lijst op wat de bot moet doen als hij iets niet weet, bijvoorbeeld een vraag stellen.
  • Zet blijvende feiten, zoals serverregels of productdetails, in het systeembericht en niet in de chatbeurten.

Voor fictie, rollenspel en companion bots voor volwassenen, voeg hier de setting en de stem van het personage toe, en geef aan dat het personage in de rol blijft tenzij de gebruiker daaruit stapt. Test de prompt met tien of vijftien lastige berichten voordat je de bot publiceert.

Houd één geschiedenis per gesprek

Een globale lijst zoals hierboven zou alle gebruikers door elkaar mengen. Sla een aparte geschiedenis op per Discord-kanaal, Telegram-chat-ID of websessie. Een dictionary werkt voor een prototype; gebruik een database wanneer de bot herstarten moet overleven.

De context is groot: 100.000 tokens voor prompt en antwoord samen. Stuur toch niet eeuwig alles mee. Lange geschiedenissen kosten meer bij elke beurt en vertragen het antwoord. Een eenvoudig beleid is om de systeembericht plus de laatste 20 berichten te behouden:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

Voor bots die een lang geheugen nodig hebben, zoals companions, vat oudere berichten samen tot een korte notitie af en toe en houd de notitie bovenaan de geschiedenis.

Een Discord-versie

Met de discord.py bibliotheek antwoordt de bot wanneer deze wordt genoemd. Aanroepen naar de API zijn blokkerend, dus voer ze uit in een thread om de Discord-verbinding levend te houden.

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

Dezelfde ask-functie plug je in een Telegram-bot (python-telegram-bot) of een klein web-endpoint zonder aanpassingen. Alleen het onderdeel dat berichten ontvangt en verzendt verschilt.

Limieten, streaming en fouten

Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 verzoeken per minuut toe. Een proefsleutel staat 2 en 60 toe. De semaphore in het Discord-voorbeeld houdt je onder de gelijktijdigheidslimiet door extra berichten te laten wachten. Als je toch HTTP 429 ziet, lees dan de foutcode: rate_limited betekent te veel per minuut, concurrency betekent te veel in één keer, en een Retry-After: 5 header betekent tijdelijke overbelasting. Wacht 5 seconden en probeer het opnieuw.

Stel voor een webchatvenster stream in op true en stuur tokens naar de browser zodra ze aankomen, zodat gebruikers tekst zien verschijnen in plaats van te hoeven wachten. Een stream houdt een concurrencyslot vast tot deze eindigt, dus sluit hem wanneer de bezoeker vertrekt. Mislukte of geweigerde verzoeken worden niet in rekening gebracht, en elke respons bevat X-Balance-USD, wat je kunt gebruiken om jezelf te waarschuwen voordat je tegoed op is.

Regels voor je community

Een ongecensureerd model antwoordt openhartiger dan de meeste gehoste assistenten, dus beslis wat je eigen bot moet doen. Het model is bedoeld voor legaal gebruik door volwassenen, en seksuele inhoud met minderjarigen is een harde limiet van de dienst. Als je bot op een openbare Discord-server of in een Telegram-groep draait, voeg het volgende zelf toe:

  • Een leeftijdscontrole of een beperking tot kanalen gemarkeerd voor volwassenen wanneer de bot is geconfigureerd voor volwassen fictie.
  • Een regel in de systeemprompt die de toegestane onderwerpen en toon in die ruimte vastlegt.
  • Een kort commando, zoals /reset, dat de opgeslagen geschiedenis wist zodat gebruikers opnieuw kunnen beginnen.
  • Eenvoudige rate limiting per gebruiker, bijvoorbeeld één verzoek om de paar seconden, zodat één persoon niet alle 8 gelijktijdigheidsplaatsen kan gebruiken.

Platformregels van Discord, Telegram of je webhost zijn nog steeds van toepassing op de bot. Lees ze voordat je het uitnodigt in een server.

Draai het echt

Een prototype op je laptop wordt een service wanneer het herstarten overleeft en je vertelt wanneer er iets kapot gaat. Een redelijke checklist:

  1. Houd de sleutel in een omgevingsvariabele of een geheime opslag, nooit in de repository.
  2. Sla gespreksgeschiedenissen op in SQLite of Redis, met de chat-ID als sleutel, en verwijder degene die dagenlang inactief zijn.
  3. Log X-Request-Id en de HTTP-status voor elke aanroep zodat je vreemde antwoorden kunt traceren.
  4. Lees X-Balance-USD uit de responseheaders en waarschuw jezelf wanneer het saldo onder een door jou gekozen niveau daalt.
  5. Stel een timeout op de client in, bijvoorbeeld 60 seconden, en stuur een kort verontschuldigingsbericht als die afgaat.
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

Stel eerst twee instellingen af wanneer antwoorden niet goed voelen. Verlaag temperature naar 0,5 voor feitelijke helpers, en verhoog het naar 1,0 voor creatieve personages. Gebruik stop-sequenties als het model de neiging heeft de volgende regel van de gebruiker te schrijven, en een kleine frequency_penalty als het zichzelf herhaalt.

Wat een chat kost

Prijzen zijn $0,15 per 1M input tokens en $0,50 per 1M output tokens. Neem een bot die 1.000 beurten per dag afhandelt, waarbij elke beurt ongeveer 2.000 input tokens verstuurt (system prompt plus geschiedenis) en ongeveer 300 tokens retourneert.

  • Invoer: 1.000 × 2.000 = 2.000.000 tokens, wat 2 × $0,15 = $0,30 is.
  • Uitvoer: 1.000 × 300 = 300.000 tokens, wat 0,3 × $0,50 = $0,15 is.
  • Totaal: $0,45 per dag voor 1.000 beurten.

Geschiedenis inkorten is de belangrijkste hendel, aangezien input tokens domineren. Tegoed is vooraf betaald, vervalt nooit en er is geen abonnement. Laad op met elk willekeurig bedrag van $20 tot $500, per crypto (USDT op TRC20, USDC op Base), met +5% bonus vanaf $50, +10% vanaf $100 en +15% vanaf $200. Zie de prijspagina voor details en de docs voor de volledige parameterlijst. Prompts worden niet gebruikt voor training.

Vragen en antwoorden

Moet ik een speciale bibliotheek gebruiken om een LLM-gebaseerde chatbot te bouwen met deze API?

Nee. De officiële OpenAI SDKs werken nadat je de basis-URL en sleutel hebt ingesteld. Gebruik de model ID uncensored.

Onthoudt de API eerdere berichten?

Nee. Je moet de gespreksgeschiedenis met elk verzoek versturen. Sla het op per chat en knip het bij naarmate het groeit.

Hoeveel gebruikers kan de bot tegelijk bedienen?

Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 per minuut toe. Zet extra berichten in de wachtrij zodat je bot binnen die limieten blijft.

Kan ik per kaart betalen?

Opwaarderingen accepteren crypto (USDT op TRC20, USDC op Base), van $20 tot $500.

Kan dezelfde bot ook embeddings of afbeeldingen maken?

Nee. De dienst is alleen tekst, zonder endpoints voor embeddings, afbeeldingen, audio of video.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel ophalenDocumentatie lezen