TR ▾
API anahtarı al

EmbeddingApisKılavuz

Pipeline'ınız için sansürsüz metin API'si

OpenAI Tarzı API ile LLM Tabanlı Sohbet Botu Oluşturun

Bir LLM tabanlı sohbet botu bir döngüdür: kullanıcının mesajını alır, kayıtlı geçmişe ekler, bu geçmişi bir modele gönderir ve yanıtı paylaşır. Bu rehber, bu döngüyü Python'da oluşturur, ardından Discord için sararır ve hız limitleri ile maliyetleri kapsar.

güncellendi

Temel noktalar

  • Model durum bilgisi tutmaz, bu nedenle botunuzun geçmişi saklaması ve yeniden göndermesi gerekir.

  • OpenAI SDK ile uncensored modelini ve sitenin Base URL'ini kullanın.

  • Eşzamanlılığı 8 ile sınırlayın ve 429 hatalarından kaçınmak için kalanları kuyruğa alın.

  • Tipik bir sohbet dönüşü bir santın çok azı kadar maliyetlidir.

Bir sunucu küpüne bağlı bir konsol etrafında dönen konuşma baloncukları, LLM API'si üzerine inşa edilmiş bir sohbet botunu gösterir

Botun yapması gerekenler

API çağrılar arasında hiçbir şeyi hatırlamaz. Her istek, modelin görmesini istediğiniz tüm konuşmayı içermelidir. Bu nedenle bir sohbet botunun işi büyük ölçüde muhasebedir: kullanıcı veya kanal başına bir mesaj listesi tutun, yeni mesajı ekleyin, listeyi gönderin, yanıtı saklayın ve tekrarlayın.

Bu hizmet OpenAI ile uyumlu, yalnızca metin içeren bir API'dir. Bağımsız bir sağlayıcı tarafından işletilen ve yetişkinlerin yasal kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modeli çalıştırır. Alan adının ima ettiğinin aksine gömme (embedding), resim veya ses uç noktası yoktur; bu nedenle aşağıdakilerin tümü sohbet tamamlamaları içindir. Reşit olmayanları içeren cinsel içeriğe izin verilmez.

Python'daki temel döngü

SDK'yı pip install openai ile yükleyin, anahtarınızı API_KEY olarak dışa aktarın ve bir konsol sürümüyle başlayın. Henüz bir anahtarınız yoksa, API anahtarı sayfası kayıt olurken ücretsiz deneme kredisi olarak $0,50 sunar.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

Bu çalışan bir bottur. Bu makaledeki diğer her şey, botun aynı anda birçok kişi için güvenli bir şekilde çalışmasını sağlar.

Sağlam bir sistem istemi yazın

Sistem mesajı, botun adını, tonunu ve sınırlarını aldığı yerdir. Uzun sohbetlerde dayanması için birkaç alışkanlık:

  • Rolü ve hedef kitleyi bir veya iki cümlede belirtin.
  • Format kurallarını verin: uzunluk, dil, liste kullanıp kullanmayacağı.
  • Bot bir şeyi bilmediğinde ne yapması gerektiğini listeleyin; örneğin bir soru sormak.
  • Sunucu kuralları veya ürün ayrıntıları gibi kalıcı gerçekleri sohbet dönüşlerinde değil sistem mesajında belirtin.

Yetişkinler için kurgu, rol yapma ve arkadaş botları için ortamı ve karakterin üslubunu buraya ekleyin ve karakterin kullanıcı rolden çıkmadıkça rolde kalacağını belirtin. Botu yayınlamadan önce botu on veya on beş zorlayıcı mesajla test edin.

Her konuşma için tek bir geçmiş tutun

Yukarıdaki gibi global bir liste tüm kullanıcıları karıştırır. Discord kanalı, Telegram sohbet ID'si veya web oturumu başına ayrı bir geçmiş saklayın. Bir prototip için bir sözlük işe yarar; bot yeniden başlatmalardan sağ çıkmalıysa veritabanı kullanın.

Bağlam büyüktür: istem ve yanıt birlikte 100.000 token kapsar. Yine de her şeyi sonsuza kadar göndermeyin. Uzun geçmişler her dönüşte daha fazla maliyet yaratır ve yanıtı yavaşlatır. Basit bir politika, sistem mesajını ve son 20 mesajı tutmaktır:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

Arkadaş botları gibi uzun bellek gerektiren botlar için, eski mesajları periyodik olarak kısa bir nota halinde özetleyin ve notu geçmişin başında tutun.

Bir Discord sürümü

discord.py kütüphanesi ile bot, etiketlendiğinde yanıt verir. API çağrıları bloke edicidir, bu nedenle Discord bağlantısını canlı tutmak için bunları bir iş parçacığında çalıştırın.

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

Aynı ask işlevi, değişiklik yapmadan bir Telegram botuna (python-telegram-bot) veya küçük bir web uç noktasına bağlanır. Sadece mesajları alan ve gönderen kısım farklıdır.

Limitler, akış ve hatalar

Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı 2 ve 60 izni verir. Discord örneğindeki semafor, ekstra mesajların beklemesini sağlayarak eşzamanlılık sınırının altında kalmanızı sağlar. Hâlâ HTTP 429 görürseniz hata kodunu okuyun: rate_limited dakikada çok fazla istek anlamına gelir, concurrency aynı anda çok fazla istek anlamına gelir ve Retry-After: 5 başlığı geçici aşırı yüklenme anlamına gelir. 5 saniye bekleyin ve tekrar deneyin.

Bir web sohbet penceresi için stream değerini true olarak ayarlayın ve tokenlar geldikçe tarayıcıya gönderin, böylece kullanıcılar beklemek yerine metnin belirdiğini görür. Bir akış, sonlanana kadar bir eşzamanlılık yuvası tutar; ziyaretçi ayrıldığında sonlandırın. Başarısız veya reddedilen istekler ücretlendirilmez ve her yanıt, kredi bitmeden önce sizi uyarmak için kullanabileceğiniz X-Balance-USD içerir.

Topluluğunuz için kurallar

Sansürsüz bir model, çoğu barındırılmış asistandan daha açık yanıt verir, bu nedenle kendi botunuzun ne yapması gerektiğine karar verin. Model yetişkinlerin yasal kullanımı içindir ve reşit olmayanlar ile ilgili cinsel içerik hizmetin katı bir limitidir. Botunuz genel bir Discord sunucusunda veya bir Telegram grubunda çalışıyorsa aşağıdakileri kendiniz ekleyin:

  • Bir yaş doğrulaması veya bot yetişkin kurgu için yapılandırıldığında yetişkinler için işaretlenmiş kanallara kısıtlama.
  • Bu alanda izin verilen konuları ve tonu belirleyen sistem isteminde bir satır.
  • Kayıtlı geçmişi silip kullanıcıların baştan başlamasına izin veren /reset gibi kısa bir komut.
  • Temel kullanıcı başına hız limiti, örneğin birkaç saniyede bir bir istek, böylece bir kişi tüm 8 eşzamanlılık yuvasını kullanamaz.

Discord, Telegram veya web barındırma sağlayıcınızın platform kuralları hala bot için geçerlidir. Sunucuya davet etmeden önce okuyun.

Gerçek ortamda çalıştırın

Bilgisayarınızdaki bir prototip, yeniden başlatmalardan sağ kurtulduğunda ve bir şeyler bozulduğunda size bildirdiğinde bir hizmete dönüşür. Makul bir kontrol listesi:

  1. Anahtarı ortam değişkeninde veya bir gizli depolamada tutun, depoda asla değil.
  2. Geçmişleri sohbet ID'sini anahtar olarak kullanarak SQLite veya Redis'te kalıcı olarak saklayın ve günlerdir boşta olanları silin.
  3. Garip yanıtları izleyebilmeniz için her çağrı için X-Request-Id ve HTTP durumunu günlüğe kaydedin.
  4. Yanıt başlıklarından X-Balance-USD okuyun ve bakiye seçtiğiniz bir seviyenin altına düştüğünde kendinize uyarı verin.
  5. İstemciye bir zaman aşımı ayarlayın, örneğin 60 saniye, ve tetiklendiğinde kısa bir özür mesajı gönderin.
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

Yanıtlar yanlış hissedildiğinde önce iki ayarı düzenleyin. Bilgi odaklı yardımcılar için temperature değerini 0,5'e doğru düşürün ve yaratıcı karakterler için 1,0'a doğru yükseltin. Model kullanıcının sonraki satırını yazmaya yatkınsa stop dizilerini kullanın, tekrar yapıyorsa küçük bir frequency_penalty ayarlayın.

Bir sohbetin maliyeti

Fiyatlandırma 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir. Günde 1.000 dönüşü işleyen bir botu ele alalım; her dönüş yaklaşık 2.000 girdi token (sistem istemi artı geçmiş) gönderir ve yaklaşık 300 token döndürür.

  • Girdi: 1.000 × 2.000 = 2.000.000 token, bu da 2 × $0,15 = $0,30'dur.
  • Çıktı: 1.000 × 300 = 300.000 token, bu da 0,3 × $0,50 = $0,15 eder.
  • Toplam: 1.000 dönüş için günde $0,45.

Girdi tokenları baskın olduğu için geçmişi kısaltmak ana kaldıraçtır. Kredi ön ödemelidir, asla sona ermez ve abonelik yoktur. $20 ile $500 arasında herhangi bir tam tutarı kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile yükleyin; $50'den +%5, $100'den +%10 ve $200'den +%15 bonus ile. Ayrıntılar için fiyatlandırma sayfasına ve tam parametre listesi için dokümantasyona bakın. İstemler eğitim için kullanılmaz.

Sorular ve cevaplar

Bu API ile bir LLM tabanlı sohbet botu oluşturmak için özel bir kütüphaneye mi ihtiyacınız var?

Hayır. Resmi OpenAI SDK'leri, Base URL ve anahtarı ayarladıktan sonra çalışır. uncensored model kimliğini kullanın.

API önceki mesajları hatırlıyor mu?

Hayır. Her istekte konuşma geçmişini göndermeniz gerekir. Bunu sohbet başına saklayın ve büyüdükçe kısaltın.

Bot aynı anda kaç kullanıcıya hizmet edebilir?

Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Botunuzu bu sınırlar içinde tutmak için ek mesajları kuyruğa alın.

Kart ile ödeme yapabilir miyim?

Evet. Bakiye yükleme işlemleri kripto (TRC20 üzerinde USDT, Base üzerinde USDC) kabul eder; $20 ile $500 arasında.

Aynı bot aynı zamanda gömme veya resim oluşturabilir mi?

Hayır. Hizmet yalnızca metin içindir; gömme, resim, ses veya video uç noktaları yoktur.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı alDokümantasyonu oku