TH ▾
รับคีย์ API

EmbeddingApisคู่มือ

API ข้อความแบบไม่เซ็นเซอร์สำหรับ pipeline ของคุณ

สร้างแชทบอท LLM ด้วย API รูปแบบ OpenAI

แชทบอท LLM คือลูป: รับข้อความผู้ใช้ เพิ่มลงในประวัติที่บันทึก ส่งประวัติไปยังโมเดล และโพสต์คำตอบ คู่มือนี้สร้างลูปใน Python จากนั้นสร้าง wrapper สำหรับ Discord และครอบคลุมขีดจำกัดและค่าใช้จ่าย

อัปเดต

ประเด็นสำคัญ

  • โมเดลไม่มีสถานะ ดังนั้นบอทของคุณต้องเก็บและส่งประวัติซ้ำ

  • ใช้โมเดล uncensored กับ SDK ของ OpenAI และ Base URL ของเว็บไซต์

  • จำกัดความพร้อมกันที่ 8 และจัดคิวส่วนที่เหลือเพื่อหลีกเลี่ยงข้อผิดพลาด 429

  • การสนทนาหนึ่งรอบมีค่าใช้จ่ายเพียงเศษเสี้ยวของเซ็นต์

ฟองข้อความวนรอบคอนโซลที่เชื่อมต่อกับลูกบาศก์เซิร์ฟเวอร์ แสดงถึงแชทบอทที่สร้างจาก API LLM

สิ่งที่บอทต้องทำ

API ไม่จำข้อมูลใดๆ ระหว่างการเรียกใช้งาน ทุกคำขอต้องประกอบด้วยประวัติการสนทนาทั้งหมดที่คุณต้องการให้โมเดลเห็น ดังนั้นหน้าที่หลักของบอทแชทจึงเป็นการจัดการข้อมูล: เก็บรายการข้อความแยกตามผู้ใช้หรือช่อง เพิ่มข้อความใหม่ ส่งรายการนั้นไป บันทึกคำตอบ แล้วทำซ้ำ

บริการนี้คือ API แบบข้อความเท่านั้นที่เข้ากันได้กับ OpenAI ใช้โมเดลแบบเปิดน้ำหนักหนึ่งตัวที่ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่มีเอนด์พอยต์สำหรับรูปภาพ เสียง หรือ embeddings แม้ว่าชื่อโดเมนอาจสื่อเป็นอย่างอื่น ดังนั้นข้อมูลด้านล่างจึงเกี่ยวกับchat completions เท่านั้น ไม่อนุญาตให้มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

ลูปหลักใน Python

ติดตั้ง SDK ด้วย pip install openai, กำหนดคีย์ของคุณเป็น API_KEY และเริ่มด้วยเวอร์ชันคอนโซล หากคุณยังไม่มีคีย์ หน้า คีย์ API จะมอบเครดิตทดลองใช้ $0.50 เมื่อสมัครใช้งาน

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

นี่คือบอทที่ใช้งานได้จริง สิ่งอื่นๆ ในบทความนี้จะทำให้บอทปลอดภัยเมื่อใช้งานพร้อมกันโดยผู้ใช้จำนวนมาก

เขียนพรอมต์ระบบให้ทนทาน

ข้อความระบบคือส่วนที่บอทได้รับชื่อ น้ำเสียง และขอบเขต พฤติกรรมไม่กี่อย่างช่วยให้ข้อความนี้คงอยู่ได้ตลอดการสนทนาที่ยาวนาน:

  • ระบุบทบาทและกลุ่มเป้าหมายในหนึ่งหรือสองประโยค
  • กำหนดกฎเกี่ยวกับรูปแบบ: ความยาว ภาษา และการใช้รายการ
  • ระบุสิ่งที่บอทควรทำเมื่อไม่รู้คำตอบ เช่น ถามคำถาม
  • ใส่ข้อเท็จจริงที่คงอยู่ เช่น กฎเซิร์ฟเวอร์หรือรายละเอียดผลิตภัณฑ์ ในข้อความระบบ และไม่ใช่ในการสนทนาแชท

สำหรับบอทนิยาย ละครบทบาท และบอทคู่หูสำหรับผู้ใหญ่ ให้เพิ่มฉากเรื่องและน้ำเสียงของตัวละครที่นี่ และบอกว่าตัวละครจะอยู่ในบทบาทจนกว่าผู้ใช้จะออกนอกบทบาท ทดสอบพรอมต์ด้วยข้อความแปลกๆ สิบหรือสิบห้าข้อความก่อนเผยแพร่บอท

เก็บประวัติการสนทนาแยกกัน

รายการส่วนกลางรายการเดียวจะผสมประวัติของผู้ใช้ทุกคนเข้าด้วยกัน ให้เก็บประวัติแยกตามช่อง Discord รหัสแชท Telegram หรือเซสชันเว็บ ใช้ดิกชันนารีได้สำหรับโปรโตไทป์ แต่ควรใช้ฐานข้อมูลเมื่อบอทต้องทำงานต่อได้หลังจากการรีสตาร์ท

หน้าต่างบริบทมีขนาดใหญ่: 100,000 โทเคน ซึ่งครอบคลุมทั้งพรอมต์และคำตอบ แม้กระนั้น อย่าส่งข้อมูลทั้งหมดไปเรื่อยๆ ประวัติที่ยาวนานจะทำให้เสียค่าใช้จ่ายมากขึ้นในทุกคำขอและทำให้การตอบช้าลง นโยบายแบบง่ายคือเก็บข้อความระบบบวกกับข้อความล่าสุด 20 ข้อความ:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

สำหรับบอทที่ต้องการความจำระยะยาว เช่น บอทคู่หู ให้สรุปข้อความเก่าเป็นบันทึกย่อสั้นๆ เป็นระยะ และเก็บบันทึกนั้นไว้ใกล้ส่วนบนของประวัติ

เวอร์ชัน Discord

ด้วยไลบรารี discord.py บอทจะตอบเมื่อมีการกล่าวถึง การเรียกใช้ API เป็นแบบบล็อก ดังนั้นให้รันในเธรดเพื่อรักษาการเชื่อมต่อ Discord ให้ทำงานอยู่

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

ฟังก์ชัน ask เดียวกันนี้สามารถเชื่อมต่อกับบอท Telegram (python-telegram-bot) หรือเอนด์พอยต์เว็บขนาดเล็กได้โดยไม่ต้องเปลี่ยนแปลง มีเพียงส่วนที่รับและส่งข้อความเท่านั้นที่แตกต่างกัน

ขีดจำกัด อัตราการส่งคำขอ การสตรีมมิง และข้อผิดพลาด

คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที คีย์ทดลองอนุญาตให้ทำ 2 และ 60 ตัวควบคุมเซมาโฟร์ในตัวอย่าง Discord, ขีดจำกัดความพร้อมกัน, ต้นทุนต่อแชท, การตัดทอนบริบท พร้อมโค้ด จะช่วยให้คุณอยู่ภายใต้ขีดจำกัดความพร้อมกันโดยทำให้ข้อความเพิ่มเติมรออยู่ หากยังเห็น HTTP 429 ให้ดูรหัสข้อผิดพลาด: rate_limited หมายถึงคำขอต่อนาทีมากเกินไป, concurrency หมายถึงคำขอพร้อมกันมากเกินไป และส่วนหัว Retry-After: 5 หมายถึงการโอเวอร์โหลดชั่วคราว รอ 5 วินาทีแล้วลองอีกครั้ง

สำหรับหน้าต่างแชทเว็บ ให้ตั้งค่า stream เป็น true และส่งโทเคนไปยังเบราว์เซอร์เมื่อได้รับข้อมูล เพื่อให้ผู้ใช้เห็นข้อความปรากฏขึ้นทันทีโดยไม่ต้องรอ การสตรีมมิงจะครอบครองช่องคำขอพร้อมกันจนกว่าจะเสร็จสิ้น ดังนั้นควรปิดการสตรีมเมื่อผู้เยี่ยมชมออกจากหน้าเว็บ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และแต่ละการตอบกลับจะมีส่วนหัว X-Balance-USD ซึ่งคุณสามารถใช้เพื่อแจ้งเตือนตัวเองก่อนเครดิตจะหมด

กฎสำหรับชุมชนของคุณ

โมเดลแบบไม่เซ็นเซอร์จะตอบคำถามอย่างเปิดเผยมากกว่าผู้ช่วยส่วนใหญ่ที่ให้บริการแบบโฮสต์ ดังนั้นคุณจึงต้องตัดสินใจว่าบอทของคุณควรทำงานอย่างไร โมเดลนี้เหมาะสำหรับการใช้งานของผู้ใหญ่ตามกฎหมาย และเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์เป็นข้อจำกัดที่ชัดเจนของบริการ หากบอทของคุณทำงานบนเซิร์ฟเวอร์ Discord สาธารณะหรือในกลุ่ม Telegram ให้เพิ่มสิ่งต่อไปนี้ด้วยตนเอง:

  • การตรวจสอบอายุ หรือการจำกัดการเข้าถึงเฉพาะช่องที่ระบุว่าเป็นสำหรับผู้ใหญ่ เมื่อตั้งค่าบอทสำหรับนิยายผู้ใหญ่
  • ข้อความในระบบพรอมต์ที่กำหนดหัวข้อและน้ำเสียงที่อนุญาตในพื้นที่นั้น
  • คำสั่งสั้นๆ เช่น /reset เพื่อล้างประวัติที่บันทึกไว้ เพื่อให้ผู้ใช้สามารถเริ่มใหม่ได้
  • การจำกัดอัตราคำขอพื้นฐานต่อผู้ใช้ เช่น หนึ่งคำขอทุกไม่กี่วินาที เพื่อป้องกันไม่ให้ผู้ใช้รายใดรายหนึ่งใช้ช่องคำขอพร้อมกันทั้ง 8 ช่อง

กฎของแพลตฟอร์มจาก Discord, Telegram หรือผู้ให้บริการโฮสต์เว็บของคุณยังคงบังคับใช้กับบอท อ่านกฎเหล่านี้ก่อนเชิญบอทเข้าสู่เซิร์ฟเวอร์

ใช้งานจริง

โปรโตไทป์บนแล็ปท็อปของคุณจะกลายเป็นบริการเมื่อมันสามารถทนต่อการรีสตาร์ทและแจ้งเตือนคุณเมื่อมีสิ่งใดพัง รายการตรวจสอบที่เหมาะสม:

  1. เก็บคีย์ไว้ในตัวแปรสภาพแวดล้อมหรือที่เก็บความลับ (secret store) ห้ามเก็บไว้ในที่เก็บรหัส (repository)
  2. บันทึกประวัติใน SQLite หรือ Redis โดยใช้ ID แชทเป็นคีย์ และลบประวัติที่ไม่ได้ใช้งานมาหลายวัน
  3. บันทึก X-Request-Id และสถานะ HTTP สำหรับการเรียกใช้แต่ละครั้ง เพื่อให้คุณสามารถติดตามการตอบกลับที่ผิดปกติได้
  4. อ่านค่า X-Balance-USD จากส่วนหัวของคำตอบ และแจ้งเตือนเมื่อยอดคงเหลือต่ำกว่าระดับที่คุณกำหนด
  5. ตั้งค่าเวลาหมดอายุ (timeout) บนไคลเอนต์ เช่น 60 วินาที และส่งข้อความขออภัยสั้นๆ หากเวลาหมดอายุ
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

ปรับการตั้งค่าสองอย่างนี้เป็นอันดับแรกเมื่อการตอบกลับดูไม่เหมาะสม ลดค่า temperature ลงมาอยู่ที่ประมาณ 0.5 สำหรับผู้ช่วยด้านข้อเท็จจริง และเพิ่มค่าขึ้นใกล้ 1.0 สำหรับตัวละครเชิงสร้างสรรค์ ใช้ลำดับ stop หากโมเดลมีแนวโน้มที่จะเขียนบรรทัดถัดไปของผู้ใช้ และใช้ค่า frequency_penalty เล็กน้อยหากโมเดลมีการทำซ้ำ

ต้นทุนการแชท

ราคาอยู่ที่ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต ลองพิจารณาบอทที่จัดการการสนทนา 1,000 รอบต่อวัน โดยแต่ละรอบส่งโทเคนอินพุตประมาณ 2,000 โทเคน (รวมระบบพรอมต์และประวัติ) และส่งคืนโทเคนเอาต์พุตประมาณ 300 โทเคน

  • อินพุต: 1,000 × 2,000 = 2,000,000 โทเคน ซึ่งคิดเป็น 2 × $0.15 = $0.30
  • เอาต์พุต: 1,000 × 300 = 300,000 โทเคน ซึ่งคิดเป็น 0.3 × $0.50 = $0.15
  • รวม: $0.45 ต่อวัน สำหรับการสนทนา 1,000 รอบ

การตัดประวัติเป็นปัจจัยหลักในการลดต้นทุน เนื่องจาก โทเคนอินพุตมีสัดส่วนมากที่สุด เครดิตแบบเติมเงินล่วงหน้าจะไม่หมดอายุและไม่มีการสมัครสมาชิก เติมเงินด้วยจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 โดยคริปโต (USDT บน TRC20, USDC บน Base) พร้อมโบนัส +5% เมื่อเติม $50, +10% เมื่อเติม $100 และ +15% เมื่อเติม $200 ดูรายละเอียดเพิ่มเติมที่ หน้าราคา และรายการพารามิเตอร์เต็มรูปแบบที่ เอกสาร พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล

ถาม-ตอบ

ฉันต้องการไลบรารีพิเศษเพื่อสร้างแชทบอท LLM ด้วย API นี้หรือไม่?

ไม่ SDK ทางการของ OpenAI ทำงานได้หลังจากที่คุณตั้งค่า base URL และคีย์ API แล้ว ใช้ model ID uncensored

API จำข้อความก่อนหน้าไว้หรือไม่

ไม่ คุณต้องส่งประวัติการสนทนาไปกับแต่ละคำขอ เก็บไว้แยกตามแชทและตัดออกเมื่อข้อมูลเพิ่มขึ้น

บอทสามารถให้บริการผู้ใช้ได้พร้อมกันกี่คน

คีย์แบบเต็มอนุญาตให้มีความพร้อมกัน 8 คำขอและ 300 ต่อนาที จัดคิวข้อความเพิ่มเติมเพื่อให้แชทบอทของคุณอยู่ภายในขีดจำกัดเหล่านั้น

สามารถจ่ายด้วยบัตรได้หรือไม่

ได้ การเติมเงินรองรับคริปโต (USDT บน TRC20, USDC บน Base) ตั้งแต่ $20 ถึง $500

บอทเดียวกันสามารถสร้าง embeddings หรือรูปภาพได้หรือไม่

ไม่ บริการมีเฉพาะข้อความ ไม่มีเอนด์พอยต์สำหรับ embeddings รูปภาพ เสียง หรือวิดีโอ

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ APIอ่านเอกสาร