繁中 ▾
取得 API 金鑰

EmbeddingApis指南

為你的管線設計的無審查文字 API

使用 OpenAI 風格 API 建構 LLM 聊天機器人

基於 LLM 的聊天機器人是一個迴圈:取得使用者訊息,將其加入儲存的歷史紀錄,將該歷史傳送至模型,然後送出回覆。本指南在 Python 中建立該迴圈,然後將其封裝為 Discord 版本,並涵蓋限制與成本。

更新於

重點摘要

  • 該模型是無狀態的,因此你的機器人必須儲存並重新傳送歷史。

  • 使用 OpenAI SDK 和網站的 Base URL 搭配模型 uncensored。

  • 將並行請求限制在 8 個,並將其餘訊息排隊以避免 429 錯誤。

  • 典型的對話輪次成本不到一分錢。

對話氣泡環繞著連接到伺服器方塊的控制台,說明基於 LLM API 建構的聊天機器人

機器人必須做的事

API 在呼叫之間不會記住任何內容。每個請求必須包含模型要查看的完整對話。因此,聊天機器人的工作主要是簿記:為每個使用者或頻道保留訊息清單,新增新訊息,傳送清單,儲存答案並重複。

此服務為 OpenAI 相容的純文字 API。它運行一個開放權重模型,由獨立供應商營運,並針對合法成人用途進行調整,以無內容拒絕的方式回答。沒有影像、音訊或嵌入端點,儘管網域名稱可能暗示如此,因此以下內容皆關於聊天完成功能。涉及未成年人的性內容不被允許。

Python 中的核心迴圈

使用 pip install openai 安裝 SDK,將你的金鑰匯出為 API_KEY,並從主控台版本開始。如果你還沒有金鑰,API 金鑰頁面在註冊時提供 $0.50 的試用額度。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

這是一個可運行的機器人。本文的其餘內容使其能夠讓許多人同時安全運行。

撰寫穩定的系統提示詞

系統訊息是機器人獲得其名稱、語氣和界限的地方。一些習慣使其在長對話中保持穩定:

  • 用一到兩句話說明角色和受眾。
  • 提供格式規則:長度、語言、是否使用清單。
  • 列出機器人不知道該怎麼辦時的行為,例如提問。
  • 將持久的事實(如伺服器規則或產品詳細資訊)放在系統訊息中,而不是放在對話輪次中。

對於成人小說、角色扮演和伴侶機器人,在此處新增設定和角色的語氣,並說明除非使用者脫離角色,否則角色將保持角色。在發布機器人之前,使用十到十五個棘手的訊息測試提示詞。

每個對話保留一份歷史

像上面這樣的全域清單會將所有使用者混在一起。針對每個 Discord 頻道、Telegram 聊天 ID 或網頁會話儲存單獨的歷史。字典適用於原型;當機器人必須在重新啟動後存活時,請使用資料庫。

上下文很大:100,000 個 token 涵蓋提示詞和回覆。即便如此,也不要永遠傳送所有內容。長歷史會在每個輪次產生更高的成本並減慢回答速度。簡單的策略是保留系統訊息加上最後 20 則訊息:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

對於需要長記憶的機器人(如伴侶),請定期將較舊的訊息摘要為短筆記,並將筆記保留在歷史的頂部附近。

Discord 版本

使用 discord.py 函式庫,機器人在被提及時回答。對 API 的呼叫是阻塞的,因此請在執行緒中運行它們以保持 Discord 連線存活。

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

相同的 ask 函數可無縫接入 Telegram 機器人(python-telegram-bot)或小型網頁端點。只有接收和傳送訊息的部分不同。

限制、串流輸出和錯誤

完整金鑰允許 8 個並行請求與每分鐘 300 個請求。試用金鑰允許 2 個與 60 個。Discord 範例中的信號量會透過讓額外訊息等待,讓你不超過並行上限。如果你仍看到 HTTP 429,請閱讀錯誤代碼:rate_limited表示每分鐘過多,concurrency表示同時過多,而 Retry-After: 5 標頭表示暫時過載。等待 5 秒鐘後再試一次。

對於網頁聊天視窗,將 stream 設為 true 並在 token 到達時將其傳送到瀏覽器,以便使用者看到文字出現而不是等待。串流輸出會佔用並行槽位直到結束,因此在訪客離開時關閉它。失敗或拒絕的請求不會收費,每個回應都包含 X-Balance-USD,你可以用它來在額度耗盡前警告自己。

你的社群規則

無審查模型比大多數託管助手更開放地回答,因此決定你自己的機器人應該做什麼。該模型旨在用於合法的成人用途,涉及未成年人的性內容是該服務的限制。如果你的機器人在公共 Discord 伺服器或 Telegram 群組中運行,請自行新增以下內容:

  • 年齡驗證或將機器人配置為成熟小說時限制到標記為成人的頻道。
  • 系統提示詞中的一行,設定該空間允許的主題和語氣。
  • 一個短命令,例如 /reset,清除儲存的歷史,以便使用者可以重新開始。
  • 基本的每使用者速率限制,例如每幾秒鐘一個請求,這樣一個人就不能使用所有 8 個並行槽位。

Discord、Telegram 或你的網頁主機的平台規則仍然適用於機器人。在邀請它進入伺服器之前請閱讀它們。

實際運行

當你的筆記型電腦上的原型能夠在重新啟動後持續運作,並在發生問題時通知你時,它就變成了一項服務。合理的檢查清單如下:

  1. 將金鑰保留在環境變數或機密管理工具中,絕不要放進程式碼儲存庫。
  2. 以聊天 ID 為鍵在 SQLite 或 Redis 中持久化歷史,並刪除幾天未使用的歷史。
  3. 記錄每個請求的 X-Request-Id 與 HTTP 狀態碼,以便追蹤異常回覆。
  4. 從回應標頭讀取 X-Balance-USD,並在餘額低於你選擇的水平時警告自己。
  5. 為客戶端設定超時時間,例如 60 秒,如果觸發超時則發送簡短道歉訊息。
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

當回覆感覺不當時,首先調整兩個設定。對於事實型助手,將 temperature 降低至 0.5 左右;對於創意角色,則將其提高至 1.0 左右。如果模型傾向於寫出使用者的下一行內容,請使用 stop 序列;如果它重複自己,請使用較小的 frequency_penalty。

對話成本

定價為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50。考慮一個每天處理 1,000 輪次的機器人,其中每輪次傳送約 2,000 個輸入 token(系統提示詞加上歷史)並返回約 300 個 token。

  • 輸入:1,000 × 2,000 = 2,000,000 個 token,即 2 × $0.15 = $0.30。
  • 輸出:1,000 × 300 = 300,000 個 token,即 0.3 × $0.50 = $0.15。
  • 總計:每天 $0.45 用於 1,000 個輪次。

修剪歷史是主要手段,因為輸入 token 佔主導地位。額度為預付額度,不會過期,且沒有訂閱。儲值金額可為 $20 至 $500 之間的任何整數,透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)進行,從 $50 起享有 +5% 獎金,從 $100 起享有 +10% 獎金,從 $200 起享有 +15% 獎金。請參閱 定價頁面 以獲取詳細資訊,並參閱 文件 以獲取完整參數列表。提示詞不會用於訓練。

問答

使用此 API 建構 LLM 聊天機器人需要特殊函式庫嗎?

不需要。官方 OpenAI SDK 在你設定 Base URL 與金鑰後即可使用。使用模型 ID uncensored。

API 會記住之前的對話嗎?

不會。你必須在每個請求中傳送對話歷史。請針對每個聊天儲存歷史,並隨著歷史增長進行修剪。

機器人能同時服務多少使用者?

完整金鑰允許 8 個並行請求與每分鐘 300 個請求。將額外訊息排隊,讓你的機器人保持在這些限制內。

可以刷卡付款嗎?

可以。儲值僅接受加密貨幣(TRC20 上的 USDT、Base 上的 USDC),金額從 $20 至 $500。

同一個機器人也能建立嵌入向量或圖片嗎?

沒有。該服務僅限文字,沒有嵌入、影像、音訊或影片端點。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改 Base URL。這就是整個設定過程。

取得 API 金鑰閱讀文件