New

Buka masa depan AI dengan APISIX – Gateway AI sepenuhnya open-source untuk Agen AI dan LLM!Pelajari Lebih Lanjut

Pelajari Lebih Lanjut
Dari para pencipta awal Apache APISIX

Jadikan AI sebagai keunggulan kompetitif —
bukan pusat biaya.

AISIX adalah AI gateway open source untuk LLM dan agen. Tempatkan satu API yang kompatibel dengan OpenAI di depan setiap model — bawa fitur AI ke produksi dalam hitungan hari, lalu skalakan yang benar-benar menggerakkan angka Anda.

Mulai gratis Lihat di GitHub

Inti Apache-2.0 · 100+ penyedia · dibangun dengan Rust · Dokumentasi · Lihat harga

python
from openai import OpenAI
client = OpenAI(
    base_url="https://your-aisix-gateway/v1",  # point to AISIX
    api_key="AISIX_API_KEY",
)
# your existing OpenAI code — unchanged
resp = client.chat.completions.create(
    model="gpt-4o",  # or claude, gemini, deepseek… 100+
    messages=[{"role": "user", "content": "Hello"}],
)
Sub-ms
overhead proxy
100+
penyedia LLM
100%
OpenAI-compatible
Apache-2.0
inti open source

Jangan biarkan urusan pipa AI memperlambat roadmap Anda

Prompt pertama itu mudah. Yang sulit adalah layanan ke-50, model ke-10, dan insiden pertama di depan pelanggan. Kompleksitas itulah yang ditangani gateway — agar tim Anda terus merilis.

Langsung ke penyedia

Setiap tim membangun ulang pipa yang sama

  • SDK berbeda untuk tiap penyedia — setiap integrasi menjadi proyek tersendiri
  • Tanpa batas bersama — satu loop liar menjatuhkan semuanya
  • Biaya yang baru terlihat saat tagihan datang
  • Kunci penyedia tersalin ke seluruh layanan
  • Tanpa guardrail dan jejak audit — ragu membawa AI ke pelanggan
Dengan AISIX

Satu platform untuk merilis AI lebih cepat

  • Satu API kompatibel OpenAI — integrasi sekali, tanpa tulis ulang
  • Batas & anggaran seluruh organisasi — skalakan tanpa kejutan
  • Setiap panggilan tercatat — lihat apa yang berhasil
  • Kunci terpusat & terenkripsi — rilis tanpa membocorkan rahasia
  • Guardrail, percobaan ulang & failover — hadirkan AI di hadapan pelanggan

Ganti model tanpa mengganti kode

Arahkan SDK OpenAI yang sudah Anda pakai ke AISIX dan jangkau semua penyedia besar — tanpa penulisan ulang, tanpa SDK per vendor, tanpa keterikatan.

  • Kompatibel dengan OpenAI: chat, streaming (SSE), embedding, rerank, audio & gambar — ditambah /v1/messages yang kompatibel dengan Anthropic.
  • Model virtual / perutean memungkinkan satu nama model tersebar ke berbagai penyedia dan region.
  • Penyedia cloud — AWS Bedrock, Azure OpenAI & GCP Vertex AI — berdampingan dengan API langsung.
Banyak penyedia, satu antarmuka
OpenAIAnthropicGoogle GeminiDeepSeek AWS BedrockAzure OpenAIVertex AIMistral GroqCohereQwenTogetherFireworks 100+ lainnya →

Seluruh AI gateway Anda dalam satu konsol

Permintaan, latensi, error, biaya, dan kesehatan model — langsung di semua lingkungan, tanpa perlu membangun dasbor sendiri.

Ikhtisar konsol AISIX Cloud: volume permintaan, latensi p50/p99, tingkat error, biaya hari ini, grafik permintaan dan biaya 24 jam, serta kesehatan lingkungan di seluruh instance.

Semua yang Anda perlukan untuk membawa AI ke produksi

Dari prototipe pertama hingga skala produksi — satu platform, semua kendali sudah tersedia.

Rilis dan ganti model tanpa menulis ulang. Petakan model apa pun ke penyedia apa pun — OpenAI, Anthropic, Bedrock, Vertex, Groq — lengkap dengan penyeimbangan beban berbobot, failover otomatis, health check, serta perutean semantik dan hemat biaya.

Halaman model AISIX memetakan gpt-4o, claude-3-7-sonnet, bedrock-claude-prod, gemini-flash, dan lainnya ke penyedia upstream dan API base.

Skalakan ke trafik produksi tanpa kejutan. Batas permintaan (RPM / RPD) dan token (TPM / TPD) dengan sliding window plus batas konkurensi — diterapkan per kunci, tim, atau akun penyedia, dan disinkronkan antar replika melalui Redis.

Batas laju AISIX: burst per kunci, batas per tim, dan perlindungan akun penyedia dengan anggaran permintaan serta token per menit.

Hadirkan AI di hadapan pelanggan dengan percaya diri. Pemeriksaan sebelum input dan sesudah output — daftar blokir kata kunci / regex, penyamaran PII (Presidio), deteksi prompt injection dan moderasi (Lakera, OpenAI Moderation, Llama-Guard), serta kontrol akses model per kunci.

Guardrail AISIX: daftar blokir penyebutan pesaing, penyamaran data pribadi, dan perisai prompt injection yang gagal-tertutup, diterapkan per kunci atau per model.

Investasikan pada yang berhasil. Biaya bulan berjalan di seluruh lingkungan, kunci, dan anggota — dengan anggaran per kunci dan organisasi, peringatan pada 75 / 90 / 100%, pelacakan biaya per model, serta batas penghentian tegas.

Penggunaan dan biaya AISIX: pengeluaran organisasi terhadap batas bulanan, permintaan bulan ini, model dengan biaya tertinggi, serta rincian per lingkungan dan per anggota.

Gateway sungguhan — bukan proxy Python

Sebagian besar AI gateway hanyalah lapisan bahasa skrip di jalur kritis Anda. AISIX adalah infrastruktur gateway yang dibangun ulang untuk AI.

Rs

Dibangun dengan Rust

Overhead di bawah satu milidetik, tanpa jeda garbage collection, dan data plane stateless yang menskala horizontal mengikuti trafik Anda.

OS

Open source, Apache-2.0

Jalankan sendiri gateway lengkap sebagai satu biner — gratis, selamanya, tanpa keterikatan. Atau gunakan versi terkelola penuh di AISIX Cloud.

A6

Dari tim Apache APISIX

Lebih dari lima tahun pengalaman membangun gateway produksi di API7.ai, pencipta Apache APISIX — kini dibangun ulang untuk LLM dan agen.

VPC

Cloud atau VPC Anda sendiri

Mulai dalam hitungan menit di cloud terkelola, atau terapkan control plane dan data plane sepenuhnya di dalam infrastruktur Anda.

Siap saat Anda bertumbuh
SOC 2 Type IIISO 27001GDPRHIPAASSO (SAML / OIDC)Audit logs

Rilis AI yang menumbuhkan bisnis Anda

Kompatibel dengan OpenAI — arahkan SDK Anda ke AISIX dan mulai merilis. Gratis untuk memulai, tanpa kartu kredit.

Mulai gratis Lihat di GitHub