API7 API Gateway & AI Gateway
API Gateway और AI Gatewayइनके लिए निर्मितएपीआई प्रबंधन
Apache APISIX के मूल रचनाकारों द्वारा बनाया गया। API7 API Gateway के साथ हर API का प्रबंधन करें, और AISIX — हमारे ओपन-सोर्स AI गेटवे — के साथ अपने LLM और AI एजेंट ट्रैफ़िक को नियंत्रित करें।
AISIX · AI गेटवे
किसी भी मॉडल से जुड़ें। हर कॉल को नियंत्रित करें।
AISIX हमारा ओपन-सोर्स AI गेटवे है, जो Rust में लिखा गया है। अपने ऐप को एक OpenAI-संगत API की ओर इंगित करें और हर मॉडल कॉल को रूट करें, सुरक्षित करें और देखें — सब कुछ स्वयं होस्ट करें, या AISIX Cloud को प्रबंधित कंट्रोल प्लेन के रूप में उपयोग करें, जबकि गेटवे आपके अपने परिवेश में ही चलता रहे।
स्मार्ट रूटिंग
मॉडल एन्सेम्बल
एक अनुरोध को कई मॉडलों के पैनल में भेजें, और जज मॉडल उनसे सबसे मज़बूत एक उत्तर तैयार करे।
सिमेंटिक रूटिंग
गेटवे पर हर प्रॉम्प्ट का इरादा पहचानें और उसे उस काम के लिए चुने गए मॉडल तक भेजें।
एजेंट इन्फ्रास्ट्रक्चर
MCP गेटवे
MCP सर्वरों को एक नियंत्रित एंडपॉइंट से परोसें — गेटवे की कुंजियों, एक्सेस नीतियों और टेलीमेट्री के साथ।
A2A एजेंट गेटवे
एजेंटों के बीच ट्रैफ़िक गेटवे से गुज़ारें — वही प्रमाणीकरण, नियंत्रण और उपयोग रिकॉर्ड।
ट्रैफ़िक गवर्नेंस
प्रोवाइडरों और मॉडलों के बीच ट्रैफ़िक को वेट दें — हेल्थ चेक, स्वचालित रीट्राई और फ़ेलओवर के साथ।
टोकन खपत बिल में दिखने से पहले ही सीमित करें, और बेकाबू उपयोग को समय रहते रोकें।
प्रोवाइडर-आधारित या नियम-आधारित जाँच से प्रॉम्प्ट और रिस्पॉन्स की दोनों दिशाओं में जाँच करें।
हर अनुरोध के टोकन, लेटेंसी और लागत — मेट्रिक्स और लॉग के रूप में आपके मौजूदा स्टैक के लिए उपलब्ध।