EmbeddingApis/गाइड
आपकी पाइपलाइन के लिए बिना सेंसर वाला टेक्स्ट API
OpenAI-शैली API के साथ LLM-आधारित चैट बॉट बनाएं
एक LLM-आधारित चैट बॉट एक लूप है: उपयोगकर्ता का संदेश लें, इसे संग्रहीत इतिहास में जोड़ें, उस इतिहास को एक मॉडल को भेजें और जवाब पोस्ट करें। यह गाइड Python में उस लूप को बनाती है, फिर इसे Discord के लिए लपेटती है और सीमाओं और लागत को कवर करती है।
अपडेट किया गया
मुख्य बिंदु
मॉडल स्टेटलेस है, इसलिए आपके बॉट को इतिहास को संग्रहीत और पुनः भेजना होगा।
OpenAI SDK और साइट के बेस URL के साथ मॉडल uncensored का उपयोग करें।
429 त्रुटियों से बचने के लिए समानांतर अनुरोधों को 8 पर सीमित करें और शेष को कतार में डालें।
एक सामान्य चैट टर्न की लागत एक सेंट का अंश होती है।

बॉट को क्या करना है
API कॉल के बीच कुछ भी याद नहीं रखता है। प्रत्येक अनुरोध में उस पूरे संवाद को शामिल करना आवश्यक है जिसे मॉडल को दिखाना है। इसलिए एक चैट बॉट का काम मुख्य रूप से बुककीपिंग है: उपयोगकर्ता या चैनल के लिए संदेशों की एक सूची रखें, नया संदेश जोड़ें, सूची भेजें, उत्तर सहेजें और दोहराएँ।
यह सेवा एक OpenAI-संगत, केवल-टेक्स्ट API है। यह एक ओपन-वेट मॉडल चलाता है, जिसे एक स्वतंत्र प्रदाता संचालित करता है और वयस्कों द्वारा वैध उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है। डोमेन नाम से जो संकेत मिल सकता है, इसके विपरीत इसमें इमेज, ऑडियो या एम्बेडिंग्स एंडपॉइंट नहीं है, इसलिए नीचे दिया गया सब कुछ चैट कम्प्लीशन के बारे में है। नाबालिगों से संबंधित यौन सामग्री की अनुमति नहीं है।
Python में कोर लूप
SDK को pip install openai से इंस्टॉल करें, अपनी कुंजी को API_KEY के रूप में एक्सपोर्ट करें और कंसोल संस्करण से शुरू करें। यदि आपके पास अभी तक कुंजी नहीं है, तो API कुंजी पेज साइन-अप पर $0.50 का मुफ़्त ट्रायल क्रेडिट प्रदान करता है।
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]
def reply(user_text: str) -> str:
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.8,
max_tokens=400,
)
text = resp.choices[0].message.content
history.append({"role": "assistant", "content": text})
return text
while True:
print(reply(input("you> ")))
यह एक कार्यरत बॉट है। इस लेख में बाकी सब कुछ इसे एक साथ कई लोगों के लिए चलाने के लिए सुरक्षित बनाता है।
एक सिस्टम प्रॉम्प्ट लिखें जो टिकाऊ हो
सिस्टम संदेश वह जगह है जहाँ बॉट को उसका नाम, टोन और सीमाएँ मिलती हैं। कुछ आदतें इसे लंबी चैट्स के दौरान टिकाऊ बनाती हैं:
- भूमिका और दर्शकों को एक या दो वाक्यों में बताएँ।
- प्रारूप नियम दें: लंबाई, भाषा, सूचियों का उपयोग करना है या नहीं।
- सूची बनाएँ कि बॉट को कुछ नहीं पता होने पर क्या करना चाहिए, उदाहरण के लिए एक प्रश्न पूछना।
- स्थायी तथ्यों, जैसे सर्वर नियम या उत्पाद विवरण, को सिस्टम संदेश में रखें और चैट टर्न्स में नहीं।
वयस्कों के लिए फिक्शन, रोलप्ले और कंपैनियन बॉट्स के लिए, सेटिंग और कैरेक्टर की आवाज़ यहाँ जोड़ें, और कहें कि कैरेक्टर तब तक भूमिका में रहता है जब तक कि उपयोगकर्ता उसे छोड़ नहीं देता। बॉट को प्रकाशित करने से पहले दस या पंद्रह मुश्किल संदेशों के साथ प्रॉम्प्ट का परीक्षण करें।
प्रत्येक संवाद के लिए एक इतिहास रखें
ऊपर दी गई एक वैश्विक सूची हर उपयोगकर्ता को एक साथ मिला देगी। Discord चैनल, Telegram चैट ID या वेब सत्र के लिए एक अलग इतिहास सहेजें। एक प्रोटोटाइप के लिए एक शब्दकोश काम करेगा; जब बॉट को रीस्टार्ट्स के बाद भी जीवित रहना हो तो डेटाबेस का उपयोग करें।
कॉन्टेक्स्ट बड़ा है: 100,000 टोकन जो प्रॉम्प्ट और जवाब दोनों को कवर करते हैं। फिर भी, सब कुछ हमेशा के लिए न भेजें। लंबे इतिहास हर टर्न पर अधिक खर्च करते हैं और जवाब को धीमा करते हैं। एक सरल नीति सिस्टम संदेश और पिछले 20 संदेशों को रखने की है:
histories = {}
def trim(msgs, keep=20):
return [msgs[0]] + msgs[1:][-keep:]
def reply_for(chat_id, user_text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": user_text})
msgs[:] = trim(msgs)
resp = client.chat.completions.create(model="uncensored", messages=msgs)
text = resp.choices[0].message.content
msgs.append({"role": "assistant", "content": text})
return text
उन बॉट्स के लिए जिन्हें लंबी मेमोरी की आवश्यकता है, जैसे कि कंपैनियन, पुराने संदेशों को एक छोटे नोट में सारांशित करें और नोट को इतिहास के शीर्ष के पास रखें।
एक Discord संस्करण
discord.py लाइब्रेरी के साथ, बॉट जब उसे मेंशन किया जाता है तब जवाब देता है। API पर कॉल ब्लॉकिंग हैं, इसलिए Discord कनेक्शन को जीवित रखने के लिए उन्हें थ्रेड में चलाएं।
import asyncio, os
import discord
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."
def ask(chat_id, text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": text})
msgs[:] = [msgs[0]] + msgs[1:][-20:]
r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
out = r.choices[0].message.content
msgs.append({"role": "assistant", "content": out})
return out
@bot.event
async def on_message(message):
if message.author.bot or bot.user not in message.mentions:
return
async with slots:
async with message.channel.typing():
text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
await message.reply(text[:1900])
bot.run(os.environ["DISCORD_TOKEN"])
वही ask फ़ंक्शन एक Telegram बॉट (python-telegram-bot) या एक छोटे वेब एंडपॉइंट में बिना किसी बदलाव के जुड़ जाता है। केवल संदेश प्राप्त करने और भेजने वाला भाग अलग होता है।
सीमाएँ, स्ट्रीमिंग और त्रुटियाँ
एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 अनुरोधों की अनुमति देती है। एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। Discord उदाहरण में सेमाफोर आपको कन्करेंसी सीमा के भीतर रखता है, क्योंकि यह अतिरिक्त संदेशों को प्रतीक्षा कराता है। यदि आप अभी भी HTTP 429 देखते हैं, तो त्रुटि कोड पढ़ें: rate_limited का अर्थ है प्रति मिनट बहुत अधिक अनुरोध, concurrency का अर्थ है एक साथ बहुत अधिक अनुरोध, और एक Retry-After: 5 हेडर का अर्थ है अस्थायी ओवरलोड। 5 सेकंड प्रतीक्षा करें और पुनः प्रयास करें।
एक वेब चैट विंडो के लिए, stream को true पर सेट करें और टोकन को ब्राउज़र में भेजें जैसे ही वे आते हैं, ताकि उपयोगकर्ता टेक्स्ट को प्रकट होते हुए देख सकें, प्रतीक्षा करने के बजाय। एक स्ट्रीम एक कन्करेंसी स्लॉट को धारण करती है जब तक कि यह समाप्त न हो, इसलिए जब विज़िटर चला जाए तो इसे बंद करें। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है, और प्रत्येक प्रतिक्रिया में X-Balance-USD शामिल होता है, जिसका उपयोग आप क्रेडिट खत्म होने से पहले स्वयं को चेतावनी देने के लिए कर सकते हैं।
आपके समुदाय के नियम
एक बिना सेंसर मॉडल अधिकांश होस्टेड सहायकों की तुलना में अधिक खुलेपन से उत्तर देता है, इसलिए निर्धारित करें कि आपका अपना बॉट क्या करेगा। मॉडल वयस्कों द्वारा वैध उपयोग के लिए है, और नाबालिगों से जुड़ा यौन सामग्री सेवा की एक कठोर सीमा है। यदि आपका बॉट एक सार्वजनिक Discord सर्वर या Telegram समूह में चलता है, तो निम्नलिखित स्वयं जोड़ें:
- आयु सत्यापन, या बॉट के वयस्क फिक्शन के लिए कॉन्फ़िगर होने पर केवल वयस्कों के लिए चिह्नित चैनलों तक प्रतिबंध।
- सिस्टम प्रॉम्प्ट में एक पंक्ति जो उस स्थान में अनुमत विषयों और टोन सेट करती है।
- एक छोटा कमांड, जैसे
/reset, जो संग्रहीत इतिहास को साफ़ करता है ताकि उपयोगकर्ता पुनः शुरू कर सकें। - प्रति-उपयोगकर्ता बेसिक रेट लिमिटिंग, उदाहरण के लिए हर कुछ सेकंड में एक अनुरोध, ताकि एक व्यक्ति सभी 8 कन्करेंसी स्लॉट्स का उपयोग न कर सके।
Discord, Telegram या आपके वेब होस्ट के प्लेटफ़ॉर्म नियम अभी भी बॉट पर लागू होते हैं। इसे सर्वर में आमंत्रित करने से पहले उन्हें पढ़ें।
इसे वास्तव में चलाएँ
आपके लैपटॉप पर एक प्रोटोटाइप एक सेवा बन जाता है जब यह रीस्टार्ट के बाद भी चलता रहता है और कुछ टूटने पर आपको बता देता है। एक उचित चेकलिस्ट:
- कुंजी को एक एनवायरनमेंट वेरिएबल या सीक्रेट स्टोर में रखें, रीपॉज़िटरी में कभी नहीं।
- SQLite या Redis में इतिहास को स्थायी रूप से सहेजें, चैट ID को कुंजी बनाएँ, और जो कई दिनों से निष्क्रिय हों उन्हें हटा दें।
- प्रत्येक कॉल के लिए
X-Request-Idऔर HTTP स्टेटस लॉग करें ताकि आप अजीब प्रतिक्रियाओं को ट्रैस कर सकें। - प्रतिक्रिया हेडर्स से
X-Balance-USDपढ़ें और खुद को चेतावनी दें जब बैलेंस आपकी चुनी हुई सीमा से नीचे चला जाए। - क्लाइंट पर एक टाइमआउट सेट करें, उदाहरण के लिए 60 सेकंड, और यदि यह ट्रिगर होता है तो माफ़ी का एक छोटा संदेश भेजें।
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)
जब जवाब अजीब लगें तो पहले दो सेटिंग्स को ट्यून करें। तथ्यात्मक सहायकों के लिए temperature को 0.5 की ओर कम करें, और रचनात्मक किरदारों के लिए इसे 1.0 की ओर बढ़ाएं। यदि मॉडल उपयोगकर्ता की अगली पंक्ति लिखने की प्रवृत्ति रखता है, तो stop सीक्वेंस का उपयोग करें, और यदि यह स्वयं को दोहराता है तो एक छोटा frequency_penalty उपयोग करें।
चैट की लागत
मूल्य $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है। एक बॉट लें जो दिन में 1,000 टर्न संभालता है, जहाँ प्रत्येक टर्न लगभग 2,000 इनपुट टोकन भेजता है (सिस्टम प्रॉम्प्ट और इतिहास) और लगभग 300 टोकन लौटाता है।
- इनपुट: 1,000 × 2,000 = 2,000,000 टोकन, जो 2 × $0.15 = $0.30 है।
- आउटपुट: 1,000 × 300 = 300,000 टोकन, जो 0.3 × $0.50 = $0.15 है।
- कुल: 1,000 टर्न के लिए प्रति दिन $0.45।
इतिहास को काटना मुख्य लीवर है, क्योंकि इनपुट टोकन प्रमुख हैं। क्रेडिट प्रीपेड होता है, कभी समाप्त नहीं होता और कोई सब्सक्रिप्शन नहीं है। $20 से $500 तक किसी भी पूर्णांक राशि को क्रिप्टो (TRC20 पर USDT, Base पर USDC) से टॉप-अप करें, $50 से +5% बोनस, $100 से +10% और $200 से +15%। विवरण के लिए मूल्य निर्धारण पेज और पूर्ण पैरामीटर सूची के लिए दस्तावेज़ देखें। प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।
अधिक गाइड
प्रश्न और उत्तर
क्या मुझे इस API के साथ LLM आधारित चैट बॉट बनाने के लिए एक विशेष लाइब्रेरी की आवश्यकता है?
नहीं। बेस URL और कुंजी सेट करने के बाद आधिकारिक OpenAI SDK काम करते हैं। मॉडल ID uncensored का उपयोग करें।
क्या API पिछले संदेशों को याद रखता है?
नहीं। आपको प्रत्येक अनुरोध के साथ संवाद इतिहास भेजना होगा। इसे प्रत्येक चैट के लिए संग्रहीत करें और जैसे-जैसे यह बढ़े, उसे कम करें।
बॉट एक साथ कितने उपयोगकर्ताओं की सेवा कर सकता है?
एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है। अपने बॉट को उन सीमाओं के भीतर रखने के लिए अतिरिक्त संदेशों को कतार में लगाएं।
क्या मैं कार्ड से भुगतान कर सकता हूँ?
हाँ। टॉप-अप क्रिप्टो (TRC20 पर USDT, Base पर USDC) स्वीकार करता है, $20 से $500 तक।
क्या वही बॉट एम्बेडिंग्स या छवियाँ भी बना सकता है?
नहीं। सेवा केवल टेक्स्ट के लिए है, जिसमें कोई एम्बेडिंग, छवि, ऑडियो या वीडियो एंडपॉइंट नहीं हैं।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।