AISIX AI गेटवे
LLM और AI एजेंट के लिए
AISIX, LLM और एजेंट के लिए ओपन सोर्स AI गेटवे है। हर मॉडल के आगे एक ही OpenAI-संगत API रखिए: AI सुविधाएँ कुछ ही दिनों में प्रोडक्शन तक पहुँचाइए, फिर उन्हें स्केल कीजिए जो वाकई आपके आँकड़े बदलती हैं।
Apache-2.0 कोर · 100+ प्रदाता · Rust में निर्मित · दस्तावेज़ · मूल्य देखें
from openai import OpenAI client = OpenAI( base_url="https://YOUR_AISIX_GATEWAY/v1", api_key="YOUR_CALLER_API_KEY", ) resp = client.chat.completions.create( model="YOUR_MODEL_ALIAS", messages=[{"role": "user", "content": "Hello"}], )
AI की पाइपलाइन को अपने रोडमैप की रफ़्तार धीमी न करने दें
पहला प्रॉम्प्ट आसान होता है। मुश्किल 50वीं सेवा, 10वें मॉडल और ग्राहकों के सामने आई पहली गड़बड़ी से शुरू होती है। यही जटिलता गेटवे संभालता है — ताकि आपकी टीम रिलीज़ करती रहे।
हर टीम वही पाइपलाइन दोबारा बनाती है
- हर प्रदाता का अलग SDK — हर इंटीग्रेशन अपने आप में एक प्रोजेक्ट बन जाता है
- कोई साझा सीमा नहीं — एक बेकाबू लूप सबको गिरा देता है
- खर्च जो बिल आने पर ही दिखता है
- प्रदाता की कुंजियाँ हर सेवा में कॉपी की हुई
- न गार्डरेल, न ऑडिट रिकॉर्ड — AI ग्राहकों तक ले जाना जोखिम भरा
AI तेज़ी से रिलीज़ करने का एक प्लेटफ़ॉर्म
- एक OpenAI-संगत API — एक बार इंटीग्रेट करें, दोबारा लिखें नहीं
- पूरे संगठन की सीमाएँ और बजट — बिना चौंकाए स्केल करें
- हर कॉल दर्ज — देखिए क्या काम कर रहा है
- केंद्रीकृत और एन्क्रिप्टेड कुंजियाँ — रहस्य लीक किए बिना रिलीज़ करें
- गार्डरेल, पुनःप्रयास और फ़ेलओवर — AI ग्राहकों के सामने लाइए
कोड बदले बिना मॉडल बदलिए
अपने मौजूदा OpenAI SDK को AISIX पर इंगित कीजिए और हर बड़े प्रदाता तक पहुँचिए — बिना दोबारा लिखे, बिना हर वेंडर के अलग SDK के, बिना किसी बंधन के।
- OpenAI-संगत: चैट, स्ट्रीमिंग (SSE), एम्बेडिंग, रीरैंक, ऑडियो और इमेज — साथ ही Anthropic-संगत
/v1/messages। - वर्चुअल / रूटिंग मॉडल एक ही मॉडल नाम को कई प्रदाताओं और क्षेत्रों में बाँट देते हैं।
- क्लाउड प्रदाता — AWS Bedrock, Azure OpenAI और GCP Vertex AI — सीधे API के साथ-साथ।
आपका पूरा AI गेटवे एक ही कंसोल में
अनुरोध, विलंबता, त्रुटियाँ, खर्च और मॉडल की स्थिति — सभी परिवेशों में लाइव, बिना कोई डैशबोर्ड बनाए।
AI को प्रोडक्शन तक ले जाने के लिए ज़रूरी सब कुछ
पहले प्रोटोटाइप से लेकर प्रोडक्शन स्केल तक — एक प्लेटफ़ॉर्म, सारे नियंत्रण पहले से मौजूद।
बिना दोबारा लिखे मॉडल रिलीज़ और स्विच कीजिए। किसी भी मॉडल को किसी भी प्रदाता से जोड़िए — OpenAI, Anthropic, Bedrock, Vertex, Groq — भारित लोड बैलेंसिंग, स्वतः फ़ेलओवर, हेल्थ चेक और सिमैंटिक व लागत-अनुकूल रूटिंग के साथ।
बिना चौंकाए प्रोडक्शन ट्रैफ़िक तक स्केल कीजिए। स्लाइडिंग-विंडो पर अनुरोध सीमाएँ (RPM / RPD) और टोकन सीमाएँ (TPM / TPD), साथ में समवर्तीता की अधिकतम सीमा — कुंजी, टीम या प्रदाता खाते के स्तर पर लागू और Redis के ज़रिए सभी प्रतिकृतियों में समन्वित।
AI को भरोसे के साथ ग्राहकों तक पहुँचाइए। इनपुट से पहले और आउटपुट के बाद जाँच — कीवर्ड या रेगेक्स ब्लॉकलिस्ट, PII छिपाना (Presidio), प्रॉम्प्ट इंजेक्शन और मॉडरेशन (Lakera, OpenAI Moderation, Llama-Guard), तथा प्रति-कुंजी मॉडल एक्सेस नियंत्रण।
जो काम कर रहा है उसी में निवेश कीजिए। सभी परिवेशों, कुंजियों और सदस्यों में इस महीने का खर्च — प्रति-कुंजी और संगठन बजट, 75 / 90 / 100% पर अलर्ट, प्रति-मॉडल लागत ट्रैकिंग और सख़्त रोक सीमाओं के साथ।
असली गेटवे — Python प्रॉक्सी नहीं
ज़्यादातर AI गेटवे आपके क्रिटिकल पाथ पर बस एक स्क्रिप्टिंग-भाषा की परत होते हैं। AISIX गेटवे इन्फ़्रास्ट्रक्चर है, जिसे AI के लिए नए सिरे से बनाया गया है।
Rust में निर्मित
एक मिलीसेकंड से कम ओवरहेड, गार्बेज कलेक्शन का कोई ठहराव नहीं, और स्टेटलेस डेटा प्लेन जो आपके ट्रैफ़िक के साथ क्षैतिज रूप से स्केल करता है।
ओपन सोर्स, Apache-2.0
पूरे गेटवे को एक ही बाइनरी के रूप में स्वयं होस्ट कीजिए — मुफ़्त, हमेशा के लिए, बिना किसी बंधन के। या इसे AISIX Cloud पर पूरी तरह प्रबंधित चलाइए।
Apache APISIX टीम की ओर से
Apache APISIX की निर्माता API7.ai में प्रोडक्शन गेटवे इंजीनियरिंग के पाँच वर्ष से अधिक — और अब LLM व एजेंट के लिए नए सिरे से तैयार।
क्लाउड या आपका अपना VPC
प्रबंधित क्लाउड पर मिनटों में शुरू कीजिए, या कंट्रोल प्लेन और डेटा प्लेन पूरी तरह अपने इन्फ़्रास्ट्रक्चर के भीतर तैनात कीजिए।
ऐसा AI रिलीज़ कीजिए जो आपका कारोबार बढ़ाए
OpenAI-संगत — अपने SDK को AISIX पर इंगित कीजिए और रिलीज़ करना शुरू कीजिए। शुरुआत मुफ़्त, क्रेडिट कार्ड की ज़रूरत नहीं।