必要なすべてがここに AI トラフィックを管理
パフォーマンス、ガバナンス、可観測性のために設計された、Rust 駆動のプロダクショングレードの AISIX ゲートウェイ。
ハイパフォーマンス
Rust で構築された驚異的な速さ
ネイティブ Rust データプレーンは、最小限のメモリフットプリントでサブミリ秒のプロキシオーバーヘッドを実現。毎秒数百万のリクエストを難なく処理します。
統合ガバナンス
一つの API ですべての LLM を
単一の OpenAI 互換 API を通じて、すべての LLM プロバイダーを管理。AI スタック全体で構成、認証、ポリシー適用を集中管理します。
インテリジェントなロードバランシング
マルチ LLM ロードバランシング
レイテンシ、コスト、可用性に基づいて、複数の LLM プロバイダー間にトラフィックを動的に分散。重み付きラウンドロビン、最小接続、カスタム戦略をサポート。
精密なレート制限
トークンとリクエストのレート制限
トークン、リクエスト、またはカスタムディメンションによるきめ細かなレート制限。コストを制御し乱用を防ぐための、コンシューマーごと、ルートごと、クラスター全体のポリシー。
セキュリティガードレール
エンタープライズ級のセキュリティ
プロンプト注入の検出、コンテンツモデレーション、PII 墨消し、規制遵守のための包括的な監査ログで AI パイプラインを保護します。
豊富な可観測性
フルスタックの可観測性
すべてのトークンを追跡し、レイテンシ分布を監視し、トラフィックパターンをリアルタイムで分析。Prometheus、Grafana、ClickHouse とネイティブに統合。
プロダクショングレードの
クラウドネイティブアーキテクチャ
コントロールプレーンとデータプレーンの分離により、高いスケーラビリティ、ゼロダウンタイムのアップグレード、エンタープライズレベルの信頼性を保証します。
ステートレスなデータプレーン
状態を持たず水平方向にスケーラブル。データ移行なしで即座にノードを追加または削除できます。
etcd ベースの構成
リアルタイムの伝播とホットリロード機能を備えた、構成管理の集中化。
関心の分離
コントロールプレーンが管理を、データプレーンがトラフィックを処理。独立したスケーリングとアップグレードが可能です。
数週間ではなく、 数分でデプロイ
OpenAI 互換の API。初日から本番環境に対応。
すべてのリクエストに組み込まれたエンタープライズ級のセキュリティ
- TPM / RPM レート制限 — キーごと、モデルごとに 1 分あたりのトークン数とリクエスト数を制限
- ガードレール — プロンプト注入、PII 漏洩、有害なコンテンツをモデルに到達する前にブロック
- キーごとのアクセス制御 — 各 API キーが呼び出せるモデルを制限
- 同時実行制限 — 単一のコンシューマーによる容量の独占を防止
100 以上の LLM プロバイダー、 一つのゲートウェイ
統一された OpenAI 互換インターフェースを通じて、主要な LLM プロバイダーに接続。ベンダーロックインは一切ありません。
最適な 料金プラン
オープンソースのコアで無料で開始。準備ができたらエンタープライズへスケール。
Frequently Asked Questions
Common questions from platform engineers evaluating AI gateways.
An AI gateway is a reverse proxy that sits between your applications and LLM providers (OpenAI, Anthropic, Google Gemini, DeepSeek, etc.). It centralizes authentication, load balancing, rate limiting, observability, and security policies for all AI and LLM traffic — similar to how a traditional API gateway manages REST API traffic.
Learn More About AI Gateways
Explore documentation, comparisons, and guides to evaluate AISIX for your AI infrastructure.
AISIX Documentation
Quickstart guides, API references, deployment tutorials, and plugin documentation for the AISIX AI gateway.
View on GitHub
Explore the AISIX source code, file issues, and contribute to the open-source AI gateway project.
AI Gateway Guide (White Paper)
A comprehensive guide to AI gateways: architecture patterns, LLM traffic governance, and production deployment strategies.
AI Gateway vs MCP Gateway vs API Gateway
Understand the differences between AI gateways, MCP gateways, and traditional API gateways — and when to use each.
What Is an AI Gateway?
Deep dive into AI gateway architecture, use cases, and how it fits into your LLM infrastructure stack.
API Gateway Comparison
Compare AISIX against Kong, NGINX, Traefik, Tyk, and other API gateways across features, performance, and pricing.