EmbeddingApis/가이드
파이프라인용 무검열 텍스트 API
OpenAI 스타일 API로 LLM 기반 채팅 봇 만들기
LLM 기반 채팅 봇은 루프입니다: 사용자 메시지를 가져와 저장된 기록에 추가하고, 해당 기록을 모델에 보내며, 응답을 게시합니다. 이 가이드는 Python으로 해당 루프를 구축한 후 Discord용으로 래핑하고 제한 사항과 비용을 다룹니다.
업데이트
주요 포인트
모델은 상태가 없으므로 봇이 기록을 저장하고 다시 보내야 합니다.
OpenAI SDK와 사이트의 Base URL로 모델 ID uncensored를 사용하십시오.
429 오류를 피하려면 동시 요청을 8로 제한하고 나머지를 큐에 넣으십시오.
일반적인 채팅 턴은 1센트 미만의 비용이 듭니다.

봇이 수행해야 할 작업
API는 호출 간에 아무것도 기억하지 않습니다. 모든 요청에는 모델이 볼 전체 대화가 포함되어야 합니다. 따라서 채팅 봇의 작업은 대부분 기록 관리입니다: 사용자 또는 채널당 메시지 목록을 유지하고, 새 메시지를 추가하며, 목록을 보내고, 답장을 저장한 후 반복합니다.
이 서비스는 OpenAI 호환 텍스트 전용 API입니다. 독립적인 제공업체가 운영하며 합법적인 성인 사용을 위해 콘텐츠 거부 없이 답변하도록 튜닝된 하나의 오픈 웨이트 모델을 실행합니다. 도메인 이름이 암시할 수 있음에도 불구하고 임베딩, 이미지, 오디오 엔드포인트가 없으므로 아래 내용은 모두 채팅 응답 생성에 관한 것입니다. 미성년자가 포함된 성적인 콘텐츠는 허용되지 않습니다.
Python의 핵심 루프
SDK를 pip install openai로 설치하고, 키를 API_KEY로 내보낸 후 콘솔 버전으로 시작하십시오. 아직 키가 없다면 API 키 페이지에서 가입 시 $0.50의 무료 체험 크레딧을 제공합니다.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]
def reply(user_text: str) -> str:
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.8,
max_tokens=400,
)
text = resp.choices[0].message.content
history.append({"role": "assistant", "content": text})
return text
while True:
print(reply(input("you> ")))
이것은 작동하는 봇입니다. 이 기사의 나머지 내용은 많은 사람이 동시에 실행할 수 있도록 안전하게 만듭니다.
오래 유지되는 시스템 프롬프트를 작성하세요.
시스템 메시지는 봇의 이름, 어조 및 경계를 설정하는 곳입니다. 긴 채팅에서도 유지되도록 하는 몇 가지 습관이 있습니다:
- 역할과 대상을 한두 문장으로 명시하십시오.
- 형식 규칙을 제공하십시오: 길이, 언어, 목록 사용 여부 등.
- 봇이 무언가를 모를 때 수행할 작업을 나열하십시오. 예를 들어 질문을 하도록 하십시오.
- 서버 규칙이나 제품 세부 정보와 같은 영구 사실은 시스템 메시지에 포함하고 채팅 턴에는 포함하지 마십시오.
성인용 픽션, 역할극 및 동반자 봇의 경우 여기에 설정과 캐릭터의 어조를 추가하고, 사용자가 역할에서 벗어나기 전까지 캐릭터가 역할을 유지한다고 명시하십시오. 봇을 게시하기 전에 10~15개의 까다로운 메시지로 프롬프트를 테스트하십시오.
대화당 하나의 기록 유지
위와 같은 전역 목록은 모든 사용자를 혼합합니다. Discord 채널, Telegram 채팅 ID 또는 웹 세션별로 별도의 기록을 저장하십시오. 프로토타입에는 사전 형식을 사용하고, 봇이 재시작 후에도 유지되려면 데이터베이스를 사용하십시오.
컨텍스트 창이 큽니다: 프롬프트와 응답을 합쳐 100,000개의 토큰을 처리합니다. 그렇다고 해서 무한정 모든 것을 보내지 마십시오. 긴 대화 기록은 매 턴마다 더 많은 비용이 들고 응답 속도를 늦춥니다. 간단한 정책은 시스템 메시지와 마지막 20개의 메시지만 유지하는 것입니다:
histories = {}
def trim(msgs, keep=20):
return [msgs[0]] + msgs[1:][-keep:]
def reply_for(chat_id, user_text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": user_text})
msgs[:] = trim(msgs)
resp = client.chat.completions.create(model="uncensored", messages=msgs)
text = resp.choices[0].message.content
msgs.append({"role": "assistant", "content": text})
return text
동반자 봇처럼 긴 메모리가 필요한 봇의 경우, 오래된 메시지를 주기적으로 짧은 메모로 요약하고 해당 메모를 기록의 상단에 유지하십시오.
Discord 버전
discord.py 라이브러리를 사용하면 봇은 멘션이 있을 때 응답합니다. API 호출은 블로킹 방식이므로 Discord 연결이 끊기지 않도록 스레드에서 실행하세요.
import asyncio, os
import discord
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."
def ask(chat_id, text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": text})
msgs[:] = [msgs[0]] + msgs[1:][-20:]
r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
out = r.choices[0].message.content
msgs.append({"role": "assistant", "content": out})
return out
@bot.event
async def on_message(message):
if message.author.bot or bot.user not in message.mentions:
return
async with slots:
async with message.channel.typing():
text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
await message.reply(text[:1900])
bot.run(os.environ["DISCORD_TOKEN"])
동일한 ask 함수는 변경 없이 Telegram 봇(python-telegram-bot) 또는 작은 웹 엔드포인트에 연결됩니다. 메시지를 수신하고 보내는 부분만 다릅니다.
제한 사항, 스트리밍 및 오류
전체 키는 동시 요청 8개와 분당 요청 300개를 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. Discord 예제의 세마포어는 초과 메시지를 대기하게 하여 동시성 한도 아래를 유지합니다. 여전히 HTTP 429 오류가 발생하면 오류 코드를 확인하세요: rate_limited은 분당 요청이 많음을, concurrency은 동시 요청이 많음을, Retry-After: 5 헤더는 일시적 과부하를 의미합니다. 5초 후 다시 시도하세요.
웹 채팅 창을 위해 stream을 true로 설정하고 토큰이 도착하는 대로 브라우저로 전송하여 사용자가 기다리지 않고 텍스트가 나타나는 것을 볼 수 있게 하십시오. 스트림은 종료될 때까지 동시성 슬롯을 유지하므로 방문자가 떠나면 스트림을 종료하십시오. 실패하거나 거부된 요청은 요금이 부과되지 않으며, 각 응답에는 X-Balance-USD가 포함되어 있어 크레딧이 고갈되기 전에 스스로 경고할 수 있습니다.
커뮤니티를 위한 규칙
무검열 모델은 대부분의 호스팅 어시스턴트보다 더 개방적으로 응답하므로 봇이 수행할 작업을 결정하십시오. 이 모델은 합법적인 성인 사용을 위한 것이며, 미성년자가 포함된 성적 콘텐츠는 서비스의 엄격한 제한 사항입니다. 봇이 공개 Discord 서버나 Telegram 그룹에서 실행되는 경우 다음을 직접 추가하십시오:
- 봇이 성인용 픽션용으로 구성된 경우 연령 확인 또는 성인용 채널로 제한.
- 해당 공간에서 허용되는 주제와 어조를 설정하는 시스템 프롬프트의 한 줄.
/reset과 같은 짧은 명령어로 저장된 기록을 지워 사용자가 다시 시작할 수 있게 하십시오.- 기본 사용자별 속도 제한(예: 몇 초에 한 번 요청)을 설정하여 한 사람이 8개의 동시 요청 슬롯을 모두 사용하지 못하게 하십시오.
Discord, Telegram 또는 웹 호스트의 플랫폼 규칙은 봇에 여전히 적용됩니다. 서버에 초대하기 전에 해당 규칙을 읽으십시오.
실제로 실행하기
노트북의 프로토타입은 재시작 후에도 유지되고 오류 발생 시 알려줄 때 서비스로 전환됩니다. 합리적인 체크리스트:
- 키를 환경 변수나 비밀 저장소에 보관하고 저장소에는 절대 넣지 마십시오.
- 채팅 ID를 키로 사용하여 SQLite 또는 Redis에 기록을 저장하고, 며칠 동안 비활성화된 기록은 삭제하십시오.
- 모든 호출에 대해
X-Request-Id와 HTTP 상태를 로깅하여 이상한 응답의 원인을 추적할 수 있게 하십시오. - 응답 헤더에서
X-Balance-USD를 읽고, 잔액이 사용자가 선택한 수준 이하로 떨어지면 스스로 경고하십시오. - 클라이언트에 타임아웃(예: 60초)을 설정하고, 타임아웃이 발생하면 짧은 사과 메시지를 보내십시오.
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)
응답이 어색할 때 먼저 두 설정을 조정하세요. 사실 기반 도우미의 경우 temperature을 0.5로 낮추고, 창의적인 캐릭터의 경우 1.0으로 높이세요. 모델이 사용자의 다음 문장을 작성하는 경향이 있으면 stop 시퀀스를 사용하고, 반복할 경우 작은 frequency_penalty을 사용하세요.
채팅 비용
가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 하루 1,000 턴을 처리하는 봇을 고려하십시오. 각 턴은 약 2,000개의 입력 토큰(시스템 프롬프트 + 기록)을 보내고 약 300개의 토큰을 반환합니다.
- 입력: 1,000 × 2,000 = 2,000,000 토큰, 이는 2 × $0.15 = $0.30입니다.
- 출력: 1,000 × 300 = 300,000 토큰, 이는 0.3 × $0.50 = $0.15입니다.
- 총 비용: 1,000 턴 기준 하루 $0.45.
입력 토큰이 주를 이루므로 대화 기록 줄이기가 주요 조절 수단입니다. 크레딧은 선불이며 소멸하지 않으며 구독제가 아닙니다. $20부터 $500까지 정수 금액으로 암호화폐(TRC20의 USDT, Base의 USDC)로 충전할 수 있으며, $50부터 +5%, $100부터 +10%, $200부터 +15% 보너스를 제공합니다. 자세한 내용은 가격 페이지를, 전체 파라미터 목록은 문서를 참조하세요. 프롬프트는 학습에 사용되지 않습니다.
더 많은 가이드
질문과 답변
이 API로 LLM 기반 채팅 봇을 구축하려면 특별한 라이브러리가 필요합니까?
아니요. 공식 OpenAI SDK는 Base URL과 API 키를 설정한 후 작동합니다. 모델 ID로 uncensored를 사용하십시오.
API가 이전 메시지를 기억합니까?
아니요. 각 요청에 대화 기록을 함께 전송해야 합니다. 채팅별로 저장하고, 기록이 길어지면 줄이세요.
봇이 동시에 처리할 수 있는 사용자 수는 얼마입니까?
전체 키는 동시 요청 8개와 분당 요청 300개를 허용합니다. 추가 메시지를 대기열에 추가하여 봇이 해당 한도 내에 있도록 하십시오.
카드로 결제할 수 있습니까?
네. 충전은 암호화폐(TRC20 네트워크의 USDT, Base 네트워크의 USDC)를 통해 $20부터 $500까지 가능합니다.
같은 봇이 임베딩이나 이미지 생성도 할 수 있습니까?
아니요. 이 서비스는 텍스트 전용이며 임베딩, 이미지, 오디오 또는 비디오 엔드포인트가 없습니다.
키는 양식 하나만 작성하면 받을 수 있습니다
계정을 생성하고 키를 복사한 후 Base URL을 변경하세요. 설정은 이것으로 끝입니다.