New

APISIX के साथ AI का भविष्य खोलें – AI एजेंट्स और LLMs के लिए पूरी तरह से ओपन-सोर्स AI गेटवे!अधिक जानें

अधिक जानें
Apache APISIX के मूल निर्माताओं की ओर से

AI को अपनी प्रतिस्पर्धी बढ़त बनाइए —
अपना लागत केंद्र नहीं।

AISIX, LLM और एजेंट के लिए ओपन सोर्स AI गेटवे है। हर मॉडल के आगे एक ही OpenAI-संगत API रखिए: AI सुविधाएँ कुछ ही दिनों में प्रोडक्शन तक पहुँचाइए, फिर उन्हें स्केल कीजिए जो वाकई आपके आँकड़े बदलती हैं।

मुफ़्त शुरू करें GitHub पर देखें

Apache-2.0 कोर · 100+ प्रदाता · Rust में निर्मित · दस्तावेज़ · मूल्य देखें

python
from openai import OpenAI
client = OpenAI(
    base_url="https://your-aisix-gateway/v1",  # point to AISIX
    api_key="AISIX_API_KEY",
)
# your existing OpenAI code — unchanged
resp = client.chat.completions.create(
    model="gpt-4o",  # or claude, gemini, deepseek… 100+
    messages=[{"role": "user", "content": "Hello"}],
)
Sub-ms
प्रॉक्सी ओवरहेड
100+
LLM प्रदाता
100%
OpenAI-compatible
Apache-2.0
ओपन सोर्स कोर

AI की पाइपलाइन को अपने रोडमैप की रफ़्तार धीमी न करने दें

पहला प्रॉम्प्ट आसान होता है। मुश्किल 50वीं सेवा, 10वें मॉडल और ग्राहकों के सामने आई पहली गड़बड़ी से शुरू होती है। यही जटिलता गेटवे संभालता है — ताकि आपकी टीम रिलीज़ करती रहे।

सीधे प्रदाताओं से

हर टीम वही पाइपलाइन दोबारा बनाती है

  • हर प्रदाता का अलग SDK — हर इंटीग्रेशन अपने आप में एक प्रोजेक्ट बन जाता है
  • कोई साझा सीमा नहीं — एक बेकाबू लूप सबको गिरा देता है
  • खर्च जो बिल आने पर ही दिखता है
  • प्रदाता की कुंजियाँ हर सेवा में कॉपी की हुई
  • न गार्डरेल, न ऑडिट रिकॉर्ड — AI ग्राहकों तक ले जाना जोखिम भरा
AISIX के साथ

AI तेज़ी से रिलीज़ करने का एक प्लेटफ़ॉर्म

  • एक OpenAI-संगत API — एक बार इंटीग्रेट करें, दोबारा लिखें नहीं
  • पूरे संगठन की सीमाएँ और बजट — बिना चौंकाए स्केल करें
  • हर कॉल दर्ज — देखिए क्या काम कर रहा है
  • केंद्रीकृत और एन्क्रिप्टेड कुंजियाँ — रहस्य लीक किए बिना रिलीज़ करें
  • गार्डरेल, पुनःप्रयास और फ़ेलओवर — AI ग्राहकों के सामने लाइए

कोड बदले बिना मॉडल बदलिए

अपने मौजूदा OpenAI SDK को AISIX पर इंगित कीजिए और हर बड़े प्रदाता तक पहुँचिए — बिना दोबारा लिखे, बिना हर वेंडर के अलग SDK के, बिना किसी बंधन के।

  • OpenAI-संगत: चैट, स्ट्रीमिंग (SSE), एम्बेडिंग, रीरैंक, ऑडियो और इमेज — साथ ही Anthropic-संगत /v1/messages।
  • वर्चुअल / रूटिंग मॉडल एक ही मॉडल नाम को कई प्रदाताओं और क्षेत्रों में बाँट देते हैं।
  • क्लाउड प्रदाता — AWS Bedrock, Azure OpenAI और GCP Vertex AI — सीधे API के साथ-साथ।
कई प्रदाता, एक इंटरफ़ेस
OpenAIAnthropicGoogle GeminiDeepSeek AWS BedrockAzure OpenAIVertex AIMistral GroqCohereQwenTogetherFireworks 100+ और →

आपका पूरा AI गेटवे एक ही कंसोल में

अनुरोध, विलंबता, त्रुटियाँ, खर्च और मॉडल की स्थिति — सभी परिवेशों में लाइव, बिना कोई डैशबोर्ड बनाए।

AISIX Cloud कंसोल का अवलोकन: अनुरोध मात्रा, p50/p99 विलंबता, त्रुटि दर, आज की लागत, 24 घंटे का अनुरोध व लागत चार्ट, और सभी इंस्टेंस में परिवेश की स्थिति।

AI को प्रोडक्शन तक ले जाने के लिए ज़रूरी सब कुछ

पहले प्रोटोटाइप से लेकर प्रोडक्शन स्केल तक — एक प्लेटफ़ॉर्म, सारे नियंत्रण पहले से मौजूद।

बिना दोबारा लिखे मॉडल रिलीज़ और स्विच कीजिए। किसी भी मॉडल को किसी भी प्रदाता से जोड़िए — OpenAI, Anthropic, Bedrock, Vertex, Groq — भारित लोड बैलेंसिंग, स्वतः फ़ेलओवर, हेल्थ चेक और सिमैंटिक व लागत-अनुकूल रूटिंग के साथ।

AISIX का मॉडल पेज gpt-4o, claude-3-7-sonnet, bedrock-claude-prod, gemini-flash और अन्य को अपस्ट्रीम प्रदाताओं तथा API बेस से जोड़ता हुआ।

बिना चौंकाए प्रोडक्शन ट्रैफ़िक तक स्केल कीजिए। स्लाइडिंग-विंडो पर अनुरोध सीमाएँ (RPM / RPD) और टोकन सीमाएँ (TPM / TPD), साथ में समवर्तीता की अधिकतम सीमा — कुंजी, टीम या प्रदाता खाते के स्तर पर लागू और Redis के ज़रिए सभी प्रतिकृतियों में समन्वित।

AISIX दर सीमाएँ: प्रति-कुंजी बर्स्ट, प्रति-टीम सीमा, और प्रति मिनट अनुरोध व टोकन बजट के ज़रिए प्रदाता खाते की सुरक्षा।

AI को भरोसे के साथ ग्राहकों तक पहुँचाइए। इनपुट से पहले और आउटपुट के बाद जाँच — कीवर्ड या रेगेक्स ब्लॉकलिस्ट, PII छिपाना (Presidio), प्रॉम्प्ट इंजेक्शन और मॉडरेशन (Lakera, OpenAI Moderation, Llama-Guard), तथा प्रति-कुंजी मॉडल एक्सेस नियंत्रण।

AISIX गार्डरेल: प्रतिस्पर्धी उल्लेख की ब्लॉकलिस्ट, PII छिपाना, और विफलता पर बंद हो जाने वाला प्रॉम्प्ट इंजेक्शन कवच — कुंजी या मॉडल के स्तर पर।

जो काम कर रहा है उसी में निवेश कीजिए। सभी परिवेशों, कुंजियों और सदस्यों में इस महीने का खर्च — प्रति-कुंजी और संगठन बजट, 75 / 90 / 100% पर अलर्ट, प्रति-मॉडल लागत ट्रैकिंग और सख़्त रोक सीमाओं के साथ।

AISIX उपयोग और खर्च: मासिक सीमा के मुकाबले संगठन का खर्च, इस महीने के अनुरोध, सर्वाधिक लागत वाला मॉडल, और परिवेश व सदस्य के अनुसार विवरण।

असली गेटवे — Python प्रॉक्सी नहीं

ज़्यादातर AI गेटवे आपके क्रिटिकल पाथ पर बस एक स्क्रिप्टिंग-भाषा की परत होते हैं। AISIX गेटवे इन्फ़्रास्ट्रक्चर है, जिसे AI के लिए नए सिरे से बनाया गया है।

Rs

Rust में निर्मित

एक मिलीसेकंड से कम ओवरहेड, गार्बेज कलेक्शन का कोई ठहराव नहीं, और स्टेटलेस डेटा प्लेन जो आपके ट्रैफ़िक के साथ क्षैतिज रूप से स्केल करता है।

OS

ओपन सोर्स, Apache-2.0

पूरे गेटवे को एक ही बाइनरी के रूप में स्वयं होस्ट कीजिए — मुफ़्त, हमेशा के लिए, बिना किसी बंधन के। या इसे AISIX Cloud पर पूरी तरह प्रबंधित चलाइए।

A6

Apache APISIX टीम की ओर से

Apache APISIX की निर्माता API7.ai में प्रोडक्शन गेटवे इंजीनियरिंग के पाँच वर्ष से अधिक — और अब LLM व एजेंट के लिए नए सिरे से तैयार।

VPC

क्लाउड या आपका अपना VPC

प्रबंधित क्लाउड पर मिनटों में शुरू कीजिए, या कंट्रोल प्लेन और डेटा प्लेन पूरी तरह अपने इन्फ़्रास्ट्रक्चर के भीतर तैनात कीजिए।

जब आप बढ़ें, तब के लिए तैयार
SOC 2 Type IIISO 27001GDPRHIPAASSO (SAML / OIDC)Audit logs

ऐसा AI रिलीज़ कीजिए जो आपका कारोबार बढ़ाए

OpenAI-संगत — अपने SDK को AISIX पर इंगित कीजिए और रिलीज़ करना शुरू कीजिए। शुरुआत मुफ़्त, क्रेडिट कार्ड की ज़रूरत नहीं।

मुफ़्त शुरू करें GitHub पर देखें