AISIX は LLM とエージェントのためのオープンソース AI ゲートウェイです。あらゆるモデルの前に OpenAI 互換の API を 1 つ置くだけで、AI 機能を数日で本番へ。成果の出た機能だけをスケールできます。
Apache-2.0 コア · 100+ プロバイダー · Rust 製 · ドキュメント · 料金を見る
from openai import OpenAI client = OpenAI( base_url="https://your-aisix-gateway/v1", # point to AISIX api_key="AISIX_API_KEY", ) # your existing OpenAI code — unchanged resp = client.chat.completions.create( model="gpt-4o", # or claude, gemini, deepseek… 100+ messages=[{"role": "user", "content": "Hello"}], )
最初のプロンプトは簡単です。難しいのは 50 個目のサービス、10 個目のモデル、そして顧客の前で起きる最初の障害です。その複雑さを引き受けるのがゲートウェイであり、チームは開発を止めずに済みます。
既存の OpenAI SDK の向き先を AISIX にするだけで、主要プロバイダーすべてに到達できます。書き直しも、ベンダーごとの SDK も、ロックインもありません。
/v1/messages にも対応。リクエスト、レイテンシ、エラー、コスト、モデルの状態を全環境にわたってリアルタイムに。ダッシュボードを自作する必要はありません。
最初の試作から本番規模まで —— 単一のプラットフォームに、必要な制御がすべて組み込まれています。
書き直さずにモデルを投入・切り替え。任意のモデル名を任意のプロバイダー(OpenAI、Anthropic、Bedrock、Vertex、Groq)に割り当て、重み付け負荷分散、自動フェイルオーバー、ヘルスチェック、セマンティックかつコスト最適なルーティングを利用できます。
想定外なく本番トラフィックへ。スライディングウィンドウ方式のリクエスト制限(RPM / RPD)とトークン制限(TPM / TPD)に加え、同時実行数の上限も設定可能。キー、チーム、プロバイダーアカウント単位で適用し、Redis を通じてレプリカ間で同期します。
自信を持って顧客の前に AI を。入力前と出力後の二段チェック —— キーワード / 正規表現によるブロックリスト、PII のマスキング(Presidio)、プロンプトインジェクションとモデレーション(Lakera、OpenAI Moderation、Llama-Guard)、そしてキー単位のモデルアクセス制御。
成果の出ているものに投資する。全環境・全キー・全メンバーの当月コストを把握。キー単位と組織単位の予算、75 / 90 / 100% でのアラート、モデル別のコスト追跡、上限到達時の強制停止に対応します。
多くの AI ゲートウェイは、ホットパスに置かれたスクリプト言語の薄い層にすぎません。AISIX は AI 向けに作り直されたゲートウェイ基盤です。
サブミリ秒のオーバーヘッド、GC による停止なし、そしてトラフィックに応じて水平にスケールするステートレスなデータプレーン。
ゲートウェイ全体を単一バイナリとして自社運用できます —— 無料、無期限、ロックインなし。フルマネージドの AISIX Cloud で動かすこともできます。
Apache APISIX の作者である API7.ai による 5 年以上の本番ゲートウェイ開発の蓄積を、LLM とエージェント向けに作り直しました。
マネージドクラウドなら数分で開始できます。コントロールプレーンとデータプレーンを自社インフラ内に完全に配置することも可能です。