ID ▾
Dapatkan kunci API

EmbeddingApisPanduan

API teks tanpa sensor untuk pipeline Anda

Buat Chat Bot Berbasis LLM Dengan API Gaya OpenAI

Chat bot berbasis LLM adalah loop: ambil pesan pengguna, tambahkan ke riwayat tersimpan, kirim riwayat itu ke model dan posting balasan. Panduan ini membangun loop tersebut di Python, lalu membungkusnya untuk Discord dan membahas batas serta biaya.

Diperbarui

Poin utama

  • Model ini stateless, sehingga bot Anda harus menyimpan dan mengirim ulang riwayat.

  • Gunakan model uncensored dengan SDK OpenAI dan base URL situs.

  • Batasi konkurensi di 8 dan antrikan sisanya untuk menghindari error 429.

  • Satu giliran chat biasa memakan biaya sepersekian sen.

Gelembung percakapan berputar di sekitar konsol yang terhubung ke kubus server, mengilustrasikan chat bot yang dibangun di atas API LLM

Apa yang harus dilakukan bot

API tidak mengingat apa pun antar panggilan. Setiap permintaan harus berisi seluruh percakapan yang ingin model lihat. Jadi, pekerjaan bot obrolan sebagian besar adalah administrasi: simpan daftar pesan per pengguna atau saluran, tambahkan pesan baru, kirim daftar, simpan jawaban, dan ulangi.

Layanan ini adalah API hanya teks yang kompatibel dengan OpenAI. Layanan ini menjalankan satu model bobot terbuka, dioperasikan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Tidak ada endpoint gambar, audio atau embeddings, meskipun nama domainnya mungkin menyiratkan hal lain, jadi semua di bawah ini tentang chat completions. Konten seksual yang melibatkan anak di bawah umur tidak diizinkan.

Loop inti di Python

Instal SDK dengan pip install openai, ekspor kunci Anda sebagai API_KEY, dan mulai dengan versi konsol. Jika Anda belum memiliki kunci, halaman kunci API menawarkan $0,50 kredit uji coba saat mendaftar.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

Itu adalah bot yang berfungsi. Semua hal lain dalam artikel ini membuatnya aman untuk dijalankan oleh banyak orang secara bersamaan.

Tulis prompt sistem yang bertahan

Pesan sistem adalah tempat bot mendapatkan nama, nada, dan batas. Beberapa kebiasaan membuatnya bertahan selama percakapan panjang:

  • Nyatakan peran dan audiens dalam satu atau dua kalimat.
  • Berikan aturan format: panjang, bahasa, apakah menggunakan daftar.
  • Daftar apa yang harus dilakukan bot ketika tidak tahu sesuatu, misalnya mengajukan pertanyaan.
  • Masukkan fakta permanen, seperti aturan server atau detail produk, ke dalam pesan sistem dan bukan dalam giliran chat.

Untuk bot fiksi, roleplay, dan bot pendamping untuk dewasa, tambahkan latar dan gaya bicara karakter di sini, dan katakan bahwa karakter tetap dalam peran kecuali pengguna keluar dari peran tersebut. Uji prompt dengan sepuluh atau lima belas pesan sulit sebelum Anda menerbitkan bot.

Simpan satu riwayat per percakapan

Daftar global seperti di atas akan mencampur semua pengguna. Simpan riwayat terpisah per saluran Discord, ID obrolan Telegram, atau sesi web. Kamus berfungsi untuk prototipe; gunakan database ketika bot harus bertahan setelah restart.

Jendela konteks besar: 100.000 token mencakup prompt dan balasan bersama-sama. Meskipun demikian, jangan kirim semuanya selamanya. Riwayat panjang lebih mahal di setiap giliran dan memperlambat jawaban. Kebijakan sederhana adalah menyimpan pesan sistem ditambah 20 pesan terakhir:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

Untuk bot yang membutuhkan memori panjang, seperti bot pendamping, ringkas pesan lama menjadi catatan singkat sesekali dan simpan catatan di dekat bagian atas riwayat.

Versi Discord

Dengan pustaka discord.py, bot merespons saat bot tersebut disebut. Panggilan ke API bersifat memblokir, sehingga jalankan dalam utas untuk menjaga koneksi Discord tetap aktif.

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

Fungsi ask yang sama dapat dipasang ke bot Telegram (python-telegram-bot) atau endpoint web kecil tanpa perubahan. Hanya bagian yang menerima dan mengirim pesan yang berbeda.

Batas, streaming, dan error

Kunci penuh mengizinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba mengizinkan 2 dan 60. Semaphore dalam contoh Discord menjaga Anda tetap di bawah batas konkurensi dengan membuat pesan tambahan menunggu. Jika Anda masih melihat HTTP 429, baca kode error: rate_limited berarti terlalu banyak per menit, concurrency berarti terlalu banyak sekaligus, dan header Retry-After: 5 berarti kelebihan beban sementara. Tunggu 5 detik dan coba lagi.

Untuk jendela obrolan web, atur stream menjadi true dan kirimkan token ke browser saat token tersebut tiba, agar pengguna melihat teks muncul alih-alih menunggu. Aliran memegang slot konkurensi hingga berakhir, sehingga hentikan aliran tersebut saat pengunjung meninggalkan halaman. Permintaan yang gagal atau ditolak tidak dikenakan biaya, dan setiap respons menyertakan X-Balance-USD, yang dapat Anda gunakan untuk memberi peringatan sebelum saldo kredit habis.

Aturan untuk komunitas Anda

Model tanpa sensor menjawab lebih terbuka daripada asisten terhosting lainnya, jadi putuskan apa yang harus dilakukan bot Anda. Model ini dimaksudkan untuk penggunaan dewasa yang sah, dan konten seksual yang melibatkan anak di bawah umur adalah batas keras layanan. Jika bot Anda berjalan di server Discord publik atau grup Telegram, tambahkan yang berikut sendiri:

  • Verifikasi usia atau pembatasan ke saluran yang ditandai untuk dewasa ketika bot dikonfigurasi untuk fiksi dewasa.
  • Satu baris dalam prompt sistem yang menetapkan topik dan nada yang diizinkan di ruang tersebut.
  • Perintah singkat, seperti /reset, yang menghapus riwayat tersimpan agar pengguna dapat memulai ulang.
  • Pembatasan laju dasar per pengguna, misalnya satu permintaan setiap beberapa detik, agar satu orang tidak menggunakan semua 8 slot konkurensi.

Aturan platform dari Discord, Telegram atau host web Anda masih berlaku untuk bot. Bacalah sebelum Anda mengundangnya ke server.

Jalankan di produksi

Prototipe di laptop Anda menjadi layanan ketika bertahan setelah restart dan memberi tahu Anda ketika ada yang rusak. Daftar periksa yang masuk akal:

  1. Simpan kunci dalam variabel lingkungan atau tempat penyimpanan rahasia, jangan di repositori.
  2. Simpan riwayat di SQLite atau Redis, dengan kunci berdasarkan ID obrolan, dan hapus yang tidak aktif selama beberapa hari.
  3. Log X-Request-Id dan status HTTP untuk setiap panggilan agar Anda dapat melacak balasan aneh.
  4. Baca X-Balance-USD dari header respons dan beri peringatan kepada diri sendiri ketika saldo turun di bawah tingkat yang Anda pilih.
  5. Atur timeout pada klien, misalnya 60 detik, dan kirim pesan permintaan maaf singkat jika waktu habis.
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

Sesuaikan dulu dua pengaturan ketika balasan terasa salah. Turunkan temperature menuju 0,5 untuk asisten faktual, dan naikkan menuju 1,0 untuk karakter kreatif. Gunakan urutan stop jika model cenderung menulis baris berikutnya pengguna, dan frequency_penalty kecil jika model mengulang diri.

Biaya obrolan

Harga adalah $0,15 per 1M token input dan $0,50 per 1M token output. Ambil bot yang menangani 1.000 giliran sehari, di mana setiap giliran mengirim sekitar 2.000 token input (prompt sistem ditambah riwayat) dan mengembalikan sekitar 300 token.

  • Input: 1.000 × 2.000 = 2.000.000 token, yang berarti 2 × $0,15 = $0,30.
  • Output: 1.000 × 300 = 300.000 token, yang setara dengan 0,3 × $0,50 = $0,15.
  • Total: $0,45 per hari untuk 1.000 giliran.

Memangkas riwayat adalah tuas utama, karena token input mendominasi. Saldo prabayar tidak pernah kedaluwarsa dan tidak ada langganan. Isi saldo dengan jumlah bulat apa pun dari $20 hingga $500, dengan kripto (USDT di TRC20, USDC di Base), dengan bonus +5% dari $50, +10% dari $100, dan +15% dari $200. Lihat halaman harga untuk detail dan dokumentasi untuk daftar parameter lengkap. Prompt tidak digunakan untuk pelatihan.

Tanya jawab

Apakah saya perlu pustaka khusus untuk membuat bot obrolan LLM dengan API ini?

Tidak. SDK OpenAI resmi berfungsi setelah Anda mengatur base URL dan kunci. Gunakan ID model uncensored.

Apakah API mengingat pesan sebelumnya?

Tidak. Anda harus mengirim riwayat percakapan dengan setiap permintaan. Simpan per obrolan dan pangkas saat membesar.

Berapa banyak pengguna yang dapat dilayani bot secara bersamaan?

Satu kunci penuh memungkinkan 8 permintaan paralel dan 300 per menit. Antrikan pesan tambahan agar bot Anda tetap dalam batas tersebut.

Apakah saya bisa membayar dengan kartu?

Ya. Pengisian ulang menerima kripto (USDT pada TRC20, USDC pada Base), dari $20 hingga $500.

Apakah bot yang sama juga dapat membuat embedding atau gambar?

Tidak. Layanan ini hanya teks, tanpa endpoint embedding, gambar, audio atau video.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah base URL. Itu saja seluruh proses pengaturannya.

Dapatkan kunci APIBaca dokumentasi