JA ▾
API キーを取得

EmbeddingApisガイド

パイプライン向けの無検閲テキストAPI

OpenAI互換APIでLLMチャットボットを構築

LLMベースのチャットボットはループです:ユーザーのメッセージを取得し、保存された履歴に追加し、その履歴をモデルに送信して返信を投稿します。このガイドではPythonでそのループを構築し、Discord用にラップし、制限とコストについてカバーします。

更新日:

主要ポイント

  • モデルはステートレスなので、ボットは履歴を保存して再送信する必要があります。

  • OpenAI SDKとサイトのベースURLで、モデル uncensored を使用してください。

  • 同時実行数を8に制限し、残りをキューに入れて429エラーを回避してください。

  • チャット1ターンあたりのコストは1セント未満です。

サーバーキューブに接続されたコンソールを囲むチャットバブルのループ、LLM APIで構築されたチャットボットを示すイラスト

ボットがやるべきこと

APIは呼び出し間で何も記憶しません。各リクエストには、モデルに見せたい会話全体が含まれている必要があります。したがって、チャットボットの作業は主に簿記です:ユーザーまたはチャンネルごとにメッセージのリストを保持し、新しいメッセージを追加し、リストを送信し、回答を保存して繰り返します。

このサービスはOpenAI互換のテキスト専用APIです。独立したプロバイダが運用するオープンウェイトモデルを1つ実行し、成人による合法的な利用向けにコンテンツ拒否なしで回答するようにチューニングされています。ドメイン名から連想されるかもしれませんが、画像、音声、埋め込みのエンドポイントは存在しないため、以下すべてはチャット補完(chat completions)に関するものです。未成年者を含む性的なコンテンツは許可されていません。

Pythonでのコアループ

SDKを pip install openai でインストールし、キーを API_KEY としてエクスポートし、コンソール版から始めます。まだキーを持っていない場合は、APIキーページ でサインアップ時に$0.50の無料トライアルクレジットが提供されます。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

これは動作するボットです。この記事の他のすべては、多くの人が同時に使っても安全に動かせるようにします。

長いチャットでも効くシステムプロンプトを作成します

システムメッセージはボットの名称、トーン、境界を設定する場所です。長文のチャットで効果を維持するためのいくつかのプラクティスがあります:

  • 役割と対象者を1〜2文で明記します。
  • フォーマットルールを提供します:長さ、言語、リストの使用の有無など。
  • ボットが何かを知らない場合にどうすべきかをリストします。例えば、質問を投げかけるなど。
  • サーバーのルールや製品の詳細などの永続的な事実は、チャットターンではなくシステムメッセージに含めてください。

フィクション、ロールプレイ、成人向けのコンパニオンボットには、設定とキャラクターの話し方をここに追加し、ユーザーがロールから外れる場合を除き、キャラクターがロールを維持するよう指示してください。ボットを公開する前に、10〜15の扱いにくいメッセージでプロンプトをテストしてください。

会話ごとに1つの履歴を保持する

上記のようなグローバルリストは、すべてのユーザーを混在させます。Discordチャンネル、TelegramチャットID、またはWebセッションごとに別の履歴を保存してください。プロトタイプには辞書を使用しますが、ボットが再起動に耐える必要がある場合はデータベースを使用してください。

コンテキストウィンドウは大きく、プロンプトと返信を合わせて100,000トークンをカバーします。それでも、履歴を無限に送信し続けるのは避けてください。長い履歴はターンごとにコストが増加し、応答を遅くします。簡単なポリシーとして、システムメッセージと最後の20メッセージのみを保持します:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

コンパニオンなど長期メモリが必要なボットの場合、古いメッセージを定期的に短いノートに要約し、そのノートを履歴の上部近くに保持します。

Discord版

discord.pyライブラリを使用すると、ボットは言及されたときに返信します。APIへの呼び出しはブロッキングなので、Discord接続を維持するためにスレッドで実行してください。

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

同じask関数は、変更なしでTelegramボット(python-telegram-bot)または小さなWebエンドポイントに接続できます。メッセージの受信と送信の部分だけが異なります。

制限、ストリーミング、エラー

フルキーは8つの同時リクエストと1分あたり300リクエストを許可します。試用版キーは2と60を許可します。Discord例のセマフォは、追加のメッセージを待機させることで、同時実行数の上限を下回るようにします。それでもHTTP 429が表示される場合は、エラーコードを読んでください:rate_limited は1分あたりの数が多すぎることを意味し、concurrency は一度に多すぎることを意味し、Retry-After: 5 ヘッダは一時的な過負荷を意味します。5秒待ってから再試行してください。

ウェブチャットウィンドウの場合は、streamをtrueに設定し、トークンが到着次第ブラウザに送信して、ユーザーが待たずにテキストが表示されるようにします。ストリームは終了するまで同時実行数のスロットを保持するため、訪問者が離れる際には閉じてください。失敗または拒否されたリクエストは課金されず、各レスポンスにはX-Balance-USDが含まれており、クレジットが枯渇する前に警告するために使用できます。

コミュニティのルール

無検閲モデルは、ほとんどのホスト型アシスタントよりもオープンに回答するため、独自のボットがどうすべきかを決定してください。モデルは成人による合法的な利用を目的としており、未成年者を含む性的コンテンツはサービスのハードリミットです。ボットが公開DiscordサーバーやTelegramグループで実行される場合は、以下を自分で追加してください:

  • ボットが大人向けフィクション用に構成されている場合、年齢確認または大人向けチャンネルへの制限を行います。
  • そのスペースで許可されるトピックとトーンを設定するシステムプロンプトの1行。
  • 保存された履歴をクリアしてユーザーが最初から始められるようにする、/resetのような短いコマンドです。
  • 基本的なユーザーごとのレート制限(例:数秒に1回)、1人のユーザーが8つの同時実行数スロットすべてを使用できないようにします。

Discord、Telegram、またはWebホストからのプラットフォームルールはボットに適用されます。サーバーに招待する前にそれらを読んでください。

実際に実行する

ノートパソコン上のプロトタイプは、再起動に耐え、何かが壊れたときに知らせてくれるようになると、サービスになります。適切なチェックリスト:

  1. キーを環境変数またはシークレットストアに保持し、リポジトリには含めないでください。
  2. チャットIDをキーとしてSQLiteまたはRedisに履歴を永続化し、数日間アイドル状態のものは削除してください。
  3. すべての呼び出しに対してX-Request-IdとHTTPステータスをログに記録し、奇妙な返信を追跡できるようにします。
  4. レスポンスヘッダーからX-Balance-USDを読み取り、残高が選択したレベルを下回った際に自身に警告します。
  5. クライアントにタイムアウト(例:60秒)を設定し、発動した場合は短い謝罪メッセージを送信します。
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

返信が不自然な場合は、まず2つの設定を調整してください。事実重視のアシスタントにはtemperatureを0.5に近づけ、クリエイティブなキャラクターには1.0に近づけてください。モデルがユーザーの次の行を書きがちならstopシーケンスを使用し、同じ内容を繰り返す場合は小さなfrequency_penaltyを使用してください。

チャットの費用

価格は1M入力トークンあたり$0.15、1M出力トークンあたり$0.50です。1日1,000ターンを処理するボットを考えます。各ターンは約2,000の入力トークン(システムプロンプトと履歴)を送信し、約300トークンを返します。

  • 入力:1,000 × 2,000 = 2,000,000トークン、これは 2 × $0.15 = $0.30 です。
  • 出力: 1,000 × 300 = 300,000 トークン、0.3 × $0.50 = $0.15。
  • 合計: 1,000ターンで1日あたり$0.45。

履歴の圧縮が主要な手段です。入力トークンがコストの大部分を占めるためです。クレジットは前払いで、期限切れせず、サブスクリプションもありません。暗号資産(TRC20上のUSDT、Base上のUSDC)で$20から$500までの任意の整数額をチャージできます。$50以上で+5%、$100以上で+10%、$200以上で+15%のボーナスが付きます。詳細は価格ページを、パラメータ一覧はドキュメントをご覧ください。プロンプトはトレーニングに使用されません。

質問と回答

このAPIでLLMベースのチャットボットを構築するには、特別なライブラリが必要ですか?

いいえ。ベースURLとキーを設定するだけで、公式のOpenAI SDKが動作します。モデルIDは uncensored を使用してください。

APIは以前のメッセージを記憶しますか?

いいえ。各リクエストで会話履歴を送信する必要があります。チャットごとに保存し、履歴が長くなるにつれてトリミングしてください。

ボットは同時にどのくらいのユーザーに対応できますか?

フルキーでは8つの同時リクエストと1分あたり300リクエストが可能です。追加のメッセージはキューに入れ、ボットがこれらの制限内に収まるようにしてください。

カードで支払えますか?

はい。チャージには暗号資産(TRC20上のUSDT、Base上のUSDC)のみが利用でき、$20〜$500の範囲で可能です。

同じボットで埋め込みや画像の生成もできますか?

いいえ。このサービスはテキストのみで、埋め込み、画像、音声、映像のエンドポイントは提供しません。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

APIキーを取得ドキュメントを読む