كل ما تحتاجه لـ إدارة حركة مرور الذكاء الاصطناعي
بوابة AISIX تعمل بلغة Rust، مصممة للأداء والحوكمة والمراقبة بمستوى الإنتاج.
أداء عالي
سرعة فائقة، مبنية بلغة Rust
يوفر مستوى بيانات Rust الأصلي حمولة وكيل إضافية تقل عن مللي ثانية مع أقل استهلاك للذاكرة. تعامل مع ملايين الطلبات في الثانية دون عناء.
حوكمة موحدة
واجهة برمجة تطبيقات واحدة لجميع نماذج LLMs الخاصة بك
إدارة جميع مزودي نماذج LLMs من خلال واجهة برمجة تطبيقات واحدة متوافقة مع OpenAI. تكوين مركزي، مصادقة، وفرض سياسات عبر كامل بيئة الذكاء الاصطناعي الخاصة بك.
موازنة تحميل ذكية
موازنة تحميل متعددة لنماذج LLMs
توزيع حركة المرور ديناميكياً عبر مزودي نماذج LLMs متعددين بناءً على التأخير والتكلفة والتوفر. استراتيجيات Weighted round-robin، و least-connections، وسياسات مخصصة.
تحديد معدل دقيق
تحديد معدل الرموز والطلبات
تحديد معدل دقيق حسب الرموز أو الطلبات أو أبعاد مخصصة. سياسات لكل مستهلك، ولكل مسار، وعلى مستوى العنقود للتحكم في التكاليف ومنع إساءة الاستخدام.
حواجز الأمان
أمان بمستوى المؤسسات
احمِ مسار الذكاء الاصطناعي الخاص بك من خلال اكتشاف حقن الأوامر، والإشراف على المحتوى، وتنقيح معلومات التعريف الشخصية PII، وسجلات تدقيق شاملة للامتثال التنظيمي.
مراقبة غنية
مراقبة كاملة للبيئة
تتبع كل رمز، راقب توزيع التأخير، وحلل أنماط حركة المرور في الوقت الفعلي. تكامل أصلي مع Prometheus و Grafana و ClickHouse.
بنية بمستوى الإنتاج،
سحابية أصلية
يضمن الفصل بين مستوى التحكم ومستوى البيانات قابلية توسع عالية، وترقيات بدون وقت توقف، وموثوقية بمستوى المؤسسات.
مستوى بيانات بدون حالة
قابل للتوسع أفقياً بدون حالة — أضف أو أزل العقد فوراً دون الحاجة لترحيل البيانات.
تكوين يعتمد على etcd
إدارة تكوين مركزية مع انتشار في الوقت الفعلي وقدرات إعادة التحميل الساخن.
فصل الاهتمامات
يتولى مستوى التحكم الإدارة؛ بينما يتولى مستوى البيانات حركة المرور. توسع وترقيات مستقلة.
النشر في دقائق، وليس أسابيع
واجهة برمجة تطبيقات متوافقة مع OpenAI. جاهز للإنتاج من اليوم الأول.
أمان بمستوى المؤسسات مدمج في كل طلب
- تحديد معدل TPM / RPM — تحديد الرموز في الدقيقة والطلبات في الدقيقة لكل مفتاح، ولكل نموذج
- حواجز الحماية — منع حقن الأوامر، وتسرب PII، والمحتوى السام قبل وصوله إلى النموذج
- التحكم في الوصول لكل مفتاح — تقييد النماذج التي يمكن لكل مفتاح API استدعاؤها
- حدود التزامن — منع المستهلكين المنفردين من احتكار القدرة الاستيعابية
أكثر من 100 مزود LLM، بوابة واحدة
اتصل بأي مزود LLM رئيسي من خلال واجهة موحدة متوافقة مع OpenAI. لا قفل بائع أبداً.
أفضل خطط الأسعار
ابدأ مجاناً مع نواتنا مفتوحة المصدر. انتقل إلى خطة المؤسسات عندما تكون جاهزاً.
مفتوح المصدر
كل ما تحتاجه للبدء مع AISIX
- الاتصال بأكثر من 100 مزود LLM
- موازنة التحميل + حدود RPM/TPM
- إدارة المفاتيح الافتراضية
- OpenTelemetry، Prometheus، Jaeger
- حواجز حماية النماذج
للمؤسسات
سحابي أو استضافة ذاتية. للفرق التي تدير حركة مرور الذكاء الاصطناعي على نطاق واسع.
- يتضمن جميع ميزات المصدر المفتوح
- دعم ذو أولوية + اتفاقيات مستوى الخدمة SLAs مخصصة
- الميزانيات، الفرق، و RBAC
- سجلات التدقيق والامتثال
- ميزات كاملة للمؤسسات