EmbeddingApis/คู่มือ
API ข้อความแบบไม่เซ็นเซอร์สำหรับ pipeline ของคุณ
สร้างแชทบอท LLM ด้วย API รูปแบบ OpenAI
แชทบอท LLM คือลูป: รับข้อความผู้ใช้ เพิ่มลงในประวัติที่บันทึก ส่งประวัติไปยังโมเดล และโพสต์คำตอบ คู่มือนี้สร้างลูปใน Python จากนั้นสร้าง wrapper สำหรับ Discord และครอบคลุมขีดจำกัดและค่าใช้จ่าย
อัปเดต
ประเด็นสำคัญ
โมเดลไม่มีสถานะ ดังนั้นบอทของคุณต้องเก็บและส่งประวัติซ้ำ
ใช้โมเดล uncensored กับ SDK ของ OpenAI และ Base URL ของเว็บไซต์
จำกัดความพร้อมกันที่ 8 และจัดคิวส่วนที่เหลือเพื่อหลีกเลี่ยงข้อผิดพลาด 429
การสนทนาหนึ่งรอบมีค่าใช้จ่ายเพียงเศษเสี้ยวของเซ็นต์

สิ่งที่บอทต้องทำ
API ไม่จำข้อมูลใดๆ ระหว่างการเรียกใช้งาน ทุกคำขอต้องประกอบด้วยประวัติการสนทนาทั้งหมดที่คุณต้องการให้โมเดลเห็น ดังนั้นหน้าที่หลักของบอทแชทจึงเป็นการจัดการข้อมูล: เก็บรายการข้อความแยกตามผู้ใช้หรือช่อง เพิ่มข้อความใหม่ ส่งรายการนั้นไป บันทึกคำตอบ แล้วทำซ้ำ
บริการนี้คือ API แบบข้อความเท่านั้นที่เข้ากันได้กับ OpenAI ใช้โมเดลแบบเปิดน้ำหนักหนึ่งตัวที่ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่มีเอนด์พอยต์สำหรับรูปภาพ เสียง หรือ embeddings แม้ว่าชื่อโดเมนอาจสื่อเป็นอย่างอื่น ดังนั้นข้อมูลด้านล่างจึงเกี่ยวกับchat completions เท่านั้น ไม่อนุญาตให้มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์
ลูปหลักใน Python
ติดตั้ง SDK ด้วย pip install openai, กำหนดคีย์ของคุณเป็น API_KEY และเริ่มด้วยเวอร์ชันคอนโซล หากคุณยังไม่มีคีย์ หน้า คีย์ API จะมอบเครดิตทดลองใช้ $0.50 เมื่อสมัครใช้งาน
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]
def reply(user_text: str) -> str:
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.8,
max_tokens=400,
)
text = resp.choices[0].message.content
history.append({"role": "assistant", "content": text})
return text
while True:
print(reply(input("you> ")))
นี่คือบอทที่ใช้งานได้จริง สิ่งอื่นๆ ในบทความนี้จะทำให้บอทปลอดภัยเมื่อใช้งานพร้อมกันโดยผู้ใช้จำนวนมาก
เขียนพรอมต์ระบบให้ทนทาน
ข้อความระบบคือส่วนที่บอทได้รับชื่อ น้ำเสียง และขอบเขต พฤติกรรมไม่กี่อย่างช่วยให้ข้อความนี้คงอยู่ได้ตลอดการสนทนาที่ยาวนาน:
- ระบุบทบาทและกลุ่มเป้าหมายในหนึ่งหรือสองประโยค
- กำหนดกฎเกี่ยวกับรูปแบบ: ความยาว ภาษา และการใช้รายการ
- ระบุสิ่งที่บอทควรทำเมื่อไม่รู้คำตอบ เช่น ถามคำถาม
- ใส่ข้อเท็จจริงที่คงอยู่ เช่น กฎเซิร์ฟเวอร์หรือรายละเอียดผลิตภัณฑ์ ในข้อความระบบ และไม่ใช่ในการสนทนาแชท
สำหรับบอทนิยาย ละครบทบาท และบอทคู่หูสำหรับผู้ใหญ่ ให้เพิ่มฉากเรื่องและน้ำเสียงของตัวละครที่นี่ และบอกว่าตัวละครจะอยู่ในบทบาทจนกว่าผู้ใช้จะออกนอกบทบาท ทดสอบพรอมต์ด้วยข้อความแปลกๆ สิบหรือสิบห้าข้อความก่อนเผยแพร่บอท
เก็บประวัติการสนทนาแยกกัน
รายการส่วนกลางรายการเดียวจะผสมประวัติของผู้ใช้ทุกคนเข้าด้วยกัน ให้เก็บประวัติแยกตามช่อง Discord รหัสแชท Telegram หรือเซสชันเว็บ ใช้ดิกชันนารีได้สำหรับโปรโตไทป์ แต่ควรใช้ฐานข้อมูลเมื่อบอทต้องทำงานต่อได้หลังจากการรีสตาร์ท
หน้าต่างบริบทมีขนาดใหญ่: 100,000 โทเคน ซึ่งครอบคลุมทั้งพรอมต์และคำตอบ แม้กระนั้น อย่าส่งข้อมูลทั้งหมดไปเรื่อยๆ ประวัติที่ยาวนานจะทำให้เสียค่าใช้จ่ายมากขึ้นในทุกคำขอและทำให้การตอบช้าลง นโยบายแบบง่ายคือเก็บข้อความระบบบวกกับข้อความล่าสุด 20 ข้อความ:
histories = {}
def trim(msgs, keep=20):
return [msgs[0]] + msgs[1:][-keep:]
def reply_for(chat_id, user_text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": user_text})
msgs[:] = trim(msgs)
resp = client.chat.completions.create(model="uncensored", messages=msgs)
text = resp.choices[0].message.content
msgs.append({"role": "assistant", "content": text})
return text
สำหรับบอทที่ต้องการความจำระยะยาว เช่น บอทคู่หู ให้สรุปข้อความเก่าเป็นบันทึกย่อสั้นๆ เป็นระยะ และเก็บบันทึกนั้นไว้ใกล้ส่วนบนของประวัติ
เวอร์ชัน Discord
ด้วยไลบรารี discord.py บอทจะตอบเมื่อมีการกล่าวถึง การเรียกใช้ API เป็นแบบบล็อก ดังนั้นให้รันในเธรดเพื่อรักษาการเชื่อมต่อ Discord ให้ทำงานอยู่
import asyncio, os
import discord
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."
def ask(chat_id, text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": text})
msgs[:] = [msgs[0]] + msgs[1:][-20:]
r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
out = r.choices[0].message.content
msgs.append({"role": "assistant", "content": out})
return out
@bot.event
async def on_message(message):
if message.author.bot or bot.user not in message.mentions:
return
async with slots:
async with message.channel.typing():
text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
await message.reply(text[:1900])
bot.run(os.environ["DISCORD_TOKEN"])
ฟังก์ชัน ask เดียวกันนี้สามารถเชื่อมต่อกับบอท Telegram (python-telegram-bot) หรือเอนด์พอยต์เว็บขนาดเล็กได้โดยไม่ต้องเปลี่ยนแปลง มีเพียงส่วนที่รับและส่งข้อความเท่านั้นที่แตกต่างกัน
ขีดจำกัด อัตราการส่งคำขอ การสตรีมมิง และข้อผิดพลาด
คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที คีย์ทดลองอนุญาตให้ทำ 2 และ 60 ตัวควบคุมเซมาโฟร์ในตัวอย่าง Discord, ขีดจำกัดความพร้อมกัน, ต้นทุนต่อแชท, การตัดทอนบริบท พร้อมโค้ด จะช่วยให้คุณอยู่ภายใต้ขีดจำกัดความพร้อมกันโดยทำให้ข้อความเพิ่มเติมรออยู่ หากยังเห็น HTTP 429 ให้ดูรหัสข้อผิดพลาด: rate_limited หมายถึงคำขอต่อนาทีมากเกินไป, concurrency หมายถึงคำขอพร้อมกันมากเกินไป และส่วนหัว Retry-After: 5 หมายถึงการโอเวอร์โหลดชั่วคราว รอ 5 วินาทีแล้วลองอีกครั้ง
สำหรับหน้าต่างแชทเว็บ ให้ตั้งค่า stream เป็น true และส่งโทเคนไปยังเบราว์เซอร์เมื่อได้รับข้อมูล เพื่อให้ผู้ใช้เห็นข้อความปรากฏขึ้นทันทีโดยไม่ต้องรอ การสตรีมมิงจะครอบครองช่องคำขอพร้อมกันจนกว่าจะเสร็จสิ้น ดังนั้นควรปิดการสตรีมเมื่อผู้เยี่ยมชมออกจากหน้าเว็บ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และแต่ละการตอบกลับจะมีส่วนหัว X-Balance-USD ซึ่งคุณสามารถใช้เพื่อแจ้งเตือนตัวเองก่อนเครดิตจะหมด
กฎสำหรับชุมชนของคุณ
โมเดลแบบไม่เซ็นเซอร์จะตอบคำถามอย่างเปิดเผยมากกว่าผู้ช่วยส่วนใหญ่ที่ให้บริการแบบโฮสต์ ดังนั้นคุณจึงต้องตัดสินใจว่าบอทของคุณควรทำงานอย่างไร โมเดลนี้เหมาะสำหรับการใช้งานของผู้ใหญ่ตามกฎหมาย และเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์เป็นข้อจำกัดที่ชัดเจนของบริการ หากบอทของคุณทำงานบนเซิร์ฟเวอร์ Discord สาธารณะหรือในกลุ่ม Telegram ให้เพิ่มสิ่งต่อไปนี้ด้วยตนเอง:
- การตรวจสอบอายุ หรือการจำกัดการเข้าถึงเฉพาะช่องที่ระบุว่าเป็นสำหรับผู้ใหญ่ เมื่อตั้งค่าบอทสำหรับนิยายผู้ใหญ่
- ข้อความในระบบพรอมต์ที่กำหนดหัวข้อและน้ำเสียงที่อนุญาตในพื้นที่นั้น
- คำสั่งสั้นๆ เช่น
/resetเพื่อล้างประวัติที่บันทึกไว้ เพื่อให้ผู้ใช้สามารถเริ่มใหม่ได้ - การจำกัดอัตราคำขอพื้นฐานต่อผู้ใช้ เช่น หนึ่งคำขอทุกไม่กี่วินาที เพื่อป้องกันไม่ให้ผู้ใช้รายใดรายหนึ่งใช้ช่องคำขอพร้อมกันทั้ง 8 ช่อง
กฎของแพลตฟอร์มจาก Discord, Telegram หรือผู้ให้บริการโฮสต์เว็บของคุณยังคงบังคับใช้กับบอท อ่านกฎเหล่านี้ก่อนเชิญบอทเข้าสู่เซิร์ฟเวอร์
ใช้งานจริง
โปรโตไทป์บนแล็ปท็อปของคุณจะกลายเป็นบริการเมื่อมันสามารถทนต่อการรีสตาร์ทและแจ้งเตือนคุณเมื่อมีสิ่งใดพัง รายการตรวจสอบที่เหมาะสม:
- เก็บคีย์ไว้ในตัวแปรสภาพแวดล้อมหรือที่เก็บความลับ (secret store) ห้ามเก็บไว้ในที่เก็บรหัส (repository)
- บันทึกประวัติใน SQLite หรือ Redis โดยใช้ ID แชทเป็นคีย์ และลบประวัติที่ไม่ได้ใช้งานมาหลายวัน
- บันทึก
X-Request-Idและสถานะ HTTP สำหรับการเรียกใช้แต่ละครั้ง เพื่อให้คุณสามารถติดตามการตอบกลับที่ผิดปกติได้ - อ่านค่า
X-Balance-USDจากส่วนหัวของคำตอบ และแจ้งเตือนเมื่อยอดคงเหลือต่ำกว่าระดับที่คุณกำหนด - ตั้งค่าเวลาหมดอายุ (timeout) บนไคลเอนต์ เช่น 60 วินาที และส่งข้อความขออภัยสั้นๆ หากเวลาหมดอายุ
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)
ปรับการตั้งค่าสองอย่างนี้เป็นอันดับแรกเมื่อการตอบกลับดูไม่เหมาะสม ลดค่า temperature ลงมาอยู่ที่ประมาณ 0.5 สำหรับผู้ช่วยด้านข้อเท็จจริง และเพิ่มค่าขึ้นใกล้ 1.0 สำหรับตัวละครเชิงสร้างสรรค์ ใช้ลำดับ stop หากโมเดลมีแนวโน้มที่จะเขียนบรรทัดถัดไปของผู้ใช้ และใช้ค่า frequency_penalty เล็กน้อยหากโมเดลมีการทำซ้ำ
ต้นทุนการแชท
ราคาอยู่ที่ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต ลองพิจารณาบอทที่จัดการการสนทนา 1,000 รอบต่อวัน โดยแต่ละรอบส่งโทเคนอินพุตประมาณ 2,000 โทเคน (รวมระบบพรอมต์และประวัติ) และส่งคืนโทเคนเอาต์พุตประมาณ 300 โทเคน
- อินพุต: 1,000 × 2,000 = 2,000,000 โทเคน ซึ่งคิดเป็น 2 × $0.15 = $0.30
- เอาต์พุต: 1,000 × 300 = 300,000 โทเคน ซึ่งคิดเป็น 0.3 × $0.50 = $0.15
- รวม: $0.45 ต่อวัน สำหรับการสนทนา 1,000 รอบ
การตัดประวัติเป็นปัจจัยหลักในการลดต้นทุน เนื่องจาก โทเคนอินพุตมีสัดส่วนมากที่สุด เครดิตแบบเติมเงินล่วงหน้าจะไม่หมดอายุและไม่มีการสมัครสมาชิก เติมเงินด้วยจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 โดยคริปโต (USDT บน TRC20, USDC บน Base) พร้อมโบนัส +5% เมื่อเติม $50, +10% เมื่อเติม $100 และ +15% เมื่อเติม $200 ดูรายละเอียดเพิ่มเติมที่ หน้าราคา และรายการพารามิเตอร์เต็มรูปแบบที่ เอกสาร พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล
คู่มือเพิ่มเติม
ถาม-ตอบ
ฉันต้องการไลบรารีพิเศษเพื่อสร้างแชทบอท LLM ด้วย API นี้หรือไม่?
ไม่ SDK ทางการของ OpenAI ทำงานได้หลังจากที่คุณตั้งค่า base URL และคีย์ API แล้ว ใช้ model ID uncensored
API จำข้อความก่อนหน้าไว้หรือไม่
ไม่ คุณต้องส่งประวัติการสนทนาไปกับแต่ละคำขอ เก็บไว้แยกตามแชทและตัดออกเมื่อข้อมูลเพิ่มขึ้น
บอทสามารถให้บริการผู้ใช้ได้พร้อมกันกี่คน
คีย์แบบเต็มอนุญาตให้มีความพร้อมกัน 8 คำขอและ 300 ต่อนาที จัดคิวข้อความเพิ่มเติมเพื่อให้แชทบอทของคุณอยู่ภายในขีดจำกัดเหล่านั้น
สามารถจ่ายด้วยบัตรได้หรือไม่
ได้ การเติมเงินรองรับคริปโต (USDT บน TRC20, USDC บน Base) ตั้งแต่ $20 ถึง $500
บอทเดียวกันสามารถสร้าง embeddings หรือรูปภาพได้หรือไม่
ไม่ บริการมีเฉพาะข้อความ ไม่มีเอนด์พอยต์สำหรับ embeddings รูปภาพ เสียง หรือวิดีโอ
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด