Pertanyaan yang sering diajukan
Apakah Anda menagih token atau penggunaan LLM?+
Tidak. Anda memakai kunci penyedia milik Anda sendiri dan membayar tagihan LLM langsung ke OpenAI, Anthropic, dan lainnya. AISIX Cloud hanya menagih langganan paket — tidak ada markup atas token Anda.
Apa bedanya AISIX dengan relay API LLM atau penjual ulang token?+
Relay menjual ulang akses ke model lewat akun dan servernya sendiri — prompt, respons, dan kunci API Anda melewati pihak ketiga yang tidak Anda kendalikan, dan Anda ikut menanggung markup mereka, batas laju bersama, serta risiko akun di hulu dibatasi atau diblokir. AISIX bukan penjual ulang, melainkan gateway milik Anda sendiri. Anda menghubungkan kunci penyedia Anda dan menjalankannya di cloud atau VPC Anda (atau di plane terkelola dengan kunci berenkripsi amplop), sehingga trafik dan data tetap dalam kendali Anda. Anda mendapat perutean, failover, batas laju, guardrail, anggaran, dan observabilitas penuh — dan membayar penyedia secara langsung, tanpa markup token. Semuanya open source (Apache-2.0, dibangun dengan Rust), siap produksi, serta siap SOC 2 / ISO 27001 / GDPR / HIPAA saat Anda menskalakan.
Apa saja yang dihitung dalam kuota permintaan bulanan saya?+
Permintaan tercatat — setiap panggilan yang dirutekan dan dicatat melalui gateway, termasuk respons error. Satu respons streaming dihitung sebagai satu permintaan.
Apa yang terjadi kalau saya mencapai batas?+
Di Developer, trafik Anda tetap mengalir melewati 100 rb — permintaan tambahan itu hanya tidak dicatat, jadi tidak muncul di log atau analitik Anda, dan tidak ada yang pernah diblokir. Di Team, kami otomatis menambahkan $100 per tambahan 1 jt permintaan — trafik tidak pernah terputus. Pemakaian yang konsisten di atas 5 jt/bln adalah saat yang tepat untuk pindah ke Enterprise.
Bisakah saya menjalankan AISIX sendiri alih-alih memakai cloud?+
Bisa. AISIX bersifat open source di bawah Apache-2.0 — jalankan gateway lengkapnya sebagai satu biner Rust, gratis, dengan dukungan komunitas. Cloud terkelola menambahkan control plane terhosting, dasbor, anggaran, RBAC, dan SLA di atasnya. Enterprise juga bisa menjalankan stack terkelola di dalam cloud / VPC Anda sendiri.
Penyedia LLM apa saja yang didukung?+
Lebih dari 100 penyedia melalui satu API yang kompatibel dengan OpenAI, termasuk 20+ integrasi populer (OpenAI, Anthropic, Gemini, DeepSeek, Groq, Mistral, Cohere, Qwen, Together, Fireworks, dan lainnya). Penyedia berbasis cloud — AWS Bedrock, Azure OpenAI, dan GCP Vertex AI — tersedia di Enterprise.
Bagaimana SSO, log audit, dan kepatuhan bekerja?+
Pengelolaan organisasi, SSO (SAML / OIDC), log audit, serta SOC 2 Type II / ISO 27001 / GDPR / HIPAA merupakan bagian dari Enterprise. Hubungi tim penjualan untuk merinci kebutuhan dan model penerapan Anda.
Di mana data saya disimpan, dan bagaimana kunci penyedia dilindungi?+
Di AISIX Cloud, kunci penyedia dienkripsi dengan enkripsi amplop saat disimpan dan hanya didekripsi pada saat permintaan; setiap data plane dibatasi pada keyspace lingkungannya sendiri. Pada mode self-host, seluruh data dan kunci tetap sepenuhnya berada di dalam infrastruktur Anda.
Apakah gateway menambah latensi?+
Data plane-nya adalah proxy Rust native dengan baseline performa yang dipublikasikan: sekitar 28.300 req/dtk saat jenuh pada 4 vCPU, overhead gateway p50 di bawah satu milidetik pada beban rendah hingga sedang, dan sekitar 0,65 md tambahan waktu ke token pertama untuk streaming — dapat diabaikan dibanding waktu inferensi LLM.