為你的管線設計的無審查文字 API
使用 OpenAI 風格 API 建構 LLM 聊天機器人
基於 LLM 的聊天機器人是一個迴圈:取得使用者訊息,將其加入儲存的歷史紀錄,將該歷史傳送至模型,然後送出回覆。本指南在 Python 中建立該迴圈,然後將其封裝為 Discord 版本,並涵蓋限制與成本。
更新於
重點摘要
該模型是無狀態的,因此你的機器人必須儲存並重新傳送歷史。
使用 OpenAI SDK 和網站的 Base URL 搭配模型 uncensored。
將並行請求限制在 8 個,並將其餘訊息排隊以避免 429 錯誤。
典型的對話輪次成本不到一分錢。

機器人必須做的事
API 在呼叫之間不會記住任何內容。每個請求必須包含模型要查看的完整對話。因此,聊天機器人的工作主要是簿記:為每個使用者或頻道保留訊息清單,新增新訊息,傳送清單,儲存答案並重複。
此服務為 OpenAI 相容的純文字 API。它運行一個開放權重模型,由獨立供應商營運,並針對合法成人用途進行調整,以無內容拒絕的方式回答。沒有影像、音訊或嵌入端點,儘管網域名稱可能暗示如此,因此以下內容皆關於聊天完成功能。涉及未成年人的性內容不被允許。
Python 中的核心迴圈
使用 pip install openai 安裝 SDK,將你的金鑰匯出為 API_KEY,並從主控台版本開始。如果你還沒有金鑰,API 金鑰頁面在註冊時提供 $0.50 的試用額度。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]
def reply(user_text: str) -> str:
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.8,
max_tokens=400,
)
text = resp.choices[0].message.content
history.append({"role": "assistant", "content": text})
return text
while True:
print(reply(input("you> ")))
這是一個可運行的機器人。本文的其餘內容使其能夠讓許多人同時安全運行。
撰寫穩定的系統提示詞
系統訊息是機器人獲得其名稱、語氣和界限的地方。一些習慣使其在長對話中保持穩定:
- 用一到兩句話說明角色和受眾。
- 提供格式規則:長度、語言、是否使用清單。
- 列出機器人不知道該怎麼辦時的行為,例如提問。
- 將持久的事實(如伺服器規則或產品詳細資訊)放在系統訊息中,而不是放在對話輪次中。
對於成人小說、角色扮演和伴侶機器人,在此處新增設定和角色的語氣,並說明除非使用者脫離角色,否則角色將保持角色。在發布機器人之前,使用十到十五個棘手的訊息測試提示詞。
每個對話保留一份歷史
像上面這樣的全域清單會將所有使用者混在一起。針對每個 Discord 頻道、Telegram 聊天 ID 或網頁會話儲存單獨的歷史。字典適用於原型;當機器人必須在重新啟動後存活時,請使用資料庫。
上下文很大:100,000 個 token 涵蓋提示詞和回覆。即便如此,也不要永遠傳送所有內容。長歷史會在每個輪次產生更高的成本並減慢回答速度。簡單的策略是保留系統訊息加上最後 20 則訊息:
histories = {}
def trim(msgs, keep=20):
return [msgs[0]] + msgs[1:][-keep:]
def reply_for(chat_id, user_text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": user_text})
msgs[:] = trim(msgs)
resp = client.chat.completions.create(model="uncensored", messages=msgs)
text = resp.choices[0].message.content
msgs.append({"role": "assistant", "content": text})
return text
對於需要長記憶的機器人(如伴侶),請定期將較舊的訊息摘要為短筆記,並將筆記保留在歷史的頂部附近。
Discord 版本
使用 discord.py 函式庫,機器人在被提及時回答。對 API 的呼叫是阻塞的,因此請在執行緒中運行它們以保持 Discord 連線存活。
import asyncio, os
import discord
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."
def ask(chat_id, text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": text})
msgs[:] = [msgs[0]] + msgs[1:][-20:]
r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
out = r.choices[0].message.content
msgs.append({"role": "assistant", "content": out})
return out
@bot.event
async def on_message(message):
if message.author.bot or bot.user not in message.mentions:
return
async with slots:
async with message.channel.typing():
text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
await message.reply(text[:1900])
bot.run(os.environ["DISCORD_TOKEN"])
相同的 ask 函數可無縫接入 Telegram 機器人(python-telegram-bot)或小型網頁端點。只有接收和傳送訊息的部分不同。
限制、串流輸出和錯誤
完整金鑰允許 8 個並行請求與每分鐘 300 個請求。試用金鑰允許 2 個與 60 個。Discord 範例中的信號量會透過讓額外訊息等待,讓你不超過並行上限。如果你仍看到 HTTP 429,請閱讀錯誤代碼:rate_limited表示每分鐘過多,concurrency表示同時過多,而 Retry-After: 5 標頭表示暫時過載。等待 5 秒鐘後再試一次。
對於網頁聊天視窗,將 stream 設為 true 並在 token 到達時將其傳送到瀏覽器,以便使用者看到文字出現而不是等待。串流輸出會佔用並行槽位直到結束,因此在訪客離開時關閉它。失敗或拒絕的請求不會收費,每個回應都包含 X-Balance-USD,你可以用它來在額度耗盡前警告自己。
你的社群規則
無審查模型比大多數託管助手更開放地回答,因此決定你自己的機器人應該做什麼。該模型旨在用於合法的成人用途,涉及未成年人的性內容是該服務的限制。如果你的機器人在公共 Discord 伺服器或 Telegram 群組中運行,請自行新增以下內容:
- 年齡驗證或將機器人配置為成熟小說時限制到標記為成人的頻道。
- 系統提示詞中的一行,設定該空間允許的主題和語氣。
- 一個短命令,例如
/reset,清除儲存的歷史,以便使用者可以重新開始。 - 基本的每使用者速率限制,例如每幾秒鐘一個請求,這樣一個人就不能使用所有 8 個並行槽位。
Discord、Telegram 或你的網頁主機的平台規則仍然適用於機器人。在邀請它進入伺服器之前請閱讀它們。
實際運行
當你的筆記型電腦上的原型能夠在重新啟動後持續運作,並在發生問題時通知你時,它就變成了一項服務。合理的檢查清單如下:
- 將金鑰保留在環境變數或機密管理工具中,絕不要放進程式碼儲存庫。
- 以聊天 ID 為鍵在 SQLite 或 Redis 中持久化歷史,並刪除幾天未使用的歷史。
- 記錄每個請求的
X-Request-Id與 HTTP 狀態碼,以便追蹤異常回覆。 - 從回應標頭讀取
X-Balance-USD,並在餘額低於你選擇的水平時警告自己。 - 為客戶端設定超時時間,例如 60 秒,如果觸發超時則發送簡短道歉訊息。
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)
當回覆感覺不當時,首先調整兩個設定。對於事實型助手,將 temperature 降低至 0.5 左右;對於創意角色,則將其提高至 1.0 左右。如果模型傾向於寫出使用者的下一行內容,請使用 stop 序列;如果它重複自己,請使用較小的 frequency_penalty。
對話成本
定價為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50。考慮一個每天處理 1,000 輪次的機器人,其中每輪次傳送約 2,000 個輸入 token(系統提示詞加上歷史)並返回約 300 個 token。
- 輸入:1,000 × 2,000 = 2,000,000 個 token,即 2 × $0.15 = $0.30。
- 輸出:1,000 × 300 = 300,000 個 token,即 0.3 × $0.50 = $0.15。
- 總計:每天 $0.45 用於 1,000 個輪次。
修剪歷史是主要手段,因為輸入 token 佔主導地位。額度為預付額度,不會過期,且沒有訂閱。儲值金額可為 $20 至 $500 之間的任何整數,透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)進行,從 $50 起享有 +5% 獎金,從 $100 起享有 +10% 獎金,從 $200 起享有 +15% 獎金。請參閱 定價頁面 以獲取詳細資訊,並參閱 文件 以獲取完整參數列表。提示詞不會用於訓練。
更多指南
問答
使用此 API 建構 LLM 聊天機器人需要特殊函式庫嗎?
不需要。官方 OpenAI SDK 在你設定 Base URL 與金鑰後即可使用。使用模型 ID uncensored。
API 會記住之前的對話嗎?
不會。你必須在每個請求中傳送對話歷史。請針對每個聊天儲存歷史,並隨著歷史增長進行修剪。
機器人能同時服務多少使用者?
完整金鑰允許 8 個並行請求與每分鐘 300 個請求。將額外訊息排隊,讓你的機器人保持在這些限制內。
可以刷卡付款嗎?
可以。儲值僅接受加密貨幣(TRC20 上的 USDT、Base 上的 USDC),金額從 $20 至 $500。
同一個機器人也能建立嵌入向量或圖片嗎?
沒有。該服務僅限文字,沒有嵌入、影像、音訊或影片端點。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改 Base URL。這就是整個設定過程。