Semua yang Anda Butuhkan untuk Mengelola Lalu Lintas AI
Gateway AISIX bertenaga Rust tingkat produksi yang dirancang untuk performa, tata kelola, dan observabilitas.
Performa Tinggi
Sangat Cepat, Dibangun dengan Rust
Data plane Rust asli memberikan overhead proxy sub-milidetik dengan penggunaan memori minimal. Tangani jutaan permintaan per detik tanpa kendala.
Tata Kelola Terpadu
Satu API, Semua LLM Anda
Kelola semua penyedia LLM Anda melalui satu API yang kompatibel dengan OpenAI. Konfigurasi terpusat, autentikasi, dan penegakan kebijakan di seluruh tumpukan AI Anda.
Load Balancing Cerdas
Load Balancing Multi-LLM
Distribusikan lalu lintas secara dinamis ke beberapa penyedia LLM berdasarkan latensi, biaya, dan ketersediaan. Weighted round-robin, least-connections, dan strategi khusus.
Pembatasan Rate yang Presisi
Pembatasan Rate Token & Permintaan
Pembatasan rate yang mendetail berdasarkan token, permintaan, atau dimensi khusus. Kebijakan per-konsumen, per-rute, dan tingkat cluster untuk mengontrol biaya dan mencegah penyalahgunaan.
Pagar Keamanan
Keamanan Tingkat Enterprise
Lindungi alur AI Anda dengan deteksi injeksi prompt, moderasi konten, redaksi PII, dan logging audit komprehensif untuk kepatuhan regulasi.
Observabilitas yang Kaya
Observabilitas Full-Stack
Lacak setiap token, pantau distribusi latensi, dan analisis pola lalu lintas secara real-time. Integrasi asli dengan Prometheus, Grafana, dan ClickHouse.
Tingkat Produksi,
Arsitektur Cloud-Native
Pemisahan Control Plane dan Data Plane memastikan skalabilitas tinggi, upgrade tanpa downtime, dan keandalan tingkat enterprise.
Data Plane Tanpa Status
Skalabel secara horizontal tanpa status β tambah atau hapus node secara instan tanpa migrasi data.
Konfigurasi Berbasis etcd
Manajemen konfigurasi terpusat dengan propagasi real-time dan kemampuan hot-reload.
Pemisahan Kepentingan
Control Plane menangani manajemen; Data Plane menangani lalu lintas. Penskalaan dan upgrade independen.
Deploy dalam Hitungan Menit, Bukan Minggu
API yang kompatibel dengan OpenAI. Siap untuk produksi sejak hari pertama.
Keamanan tingkat enterprise yang tertanam dalam setiap permintaan
- Pembatasan rate TPM / RPM β batasi token-per-menit dan permintaan-per-menit per kunci, per model
- Pagar Keamanan β blokir injeksi prompt, kebocoran PII, dan konten beracun sebelum mencapai model
- Kontrol akses per-kunci β batasi model mana yang dapat dipanggil oleh setiap kunci API
- Batas konkurensi β cegah konsumen tunggal memonopoli kapasitas
100+ Penyedia LLM, Satu Gateway
Terhubung ke penyedia LLM utama mana pun melalui antarmuka terpadu yang kompatibel dengan OpenAI. Tanpa penguncian vendor, selamanya.
Terbaik Paket Harga
Mulai gratis dengan core open-source kami. Tingkatkan ke enterprise saat Anda siap.
Open Source
Semua yang Anda butuhkan untuk memulai dengan AISIX
- Hubungkan 100+ penyedia LLM
- Load balancing + batas RPM/TPM
- Manajemen kunci virtual
- OpenTelemetry, Prometheus, Jaeger
- Pagar keamanan model
Enterprise
Cloud atau Self-Hosted. Untuk tim yang mengelola lalu lintas AI dalam skala besar.
- Termasuk semua fitur open-source
- Dukungan prioritas + SLA kustom
- Anggaran, tim, dan RBAC
- Log audit dan kepatuhan
- Fitur enterprise lengkap