Все, что вам нужно для управления AI-трафиком
Готовый к работе шлюз AISIX на базе Rust, созданный для производительности, управления и наблюдаемости.
Высокая производительность
Невероятно быстрый, создан на Rust
Нативный уровень данных на Rust обеспечивает задержку прокси менее миллисекунды при минимальном потреблении памяти. Обрабатывайте миллионы запросов в секунду без проблем.
Единое управление
Один API для всех ваших LLM
Управляйте всеми провайдерами LLM через единый OpenAI-совместимый API. Централизованная конфигурация, аутентификация и соблюдение политик во всей вашей AI-инфраструктуре.
Интеллектуальная балансировка
Балансировка нагрузки между несколькими LLM
Динамически распределяйте трафик между несколькими провайдерами LLM на основе задержки, стоимости и доступности. Стратегии Weighted round-robin, least-connections и пользовательские политики.
Точное ограничение частоты
Ограничение по токенам и запросам
Детальное ограничение частоты по токенам, запросам или пользовательским параметрам. Политики для каждого потребителя, маршрута и на уровне кластера для контроля затрат и предотвращения злоупотреблений.
Защитные барьеры
Безопасность корпоративного уровня
Защитите свой AI-конвейер с помощью обнаружения инъекций в промпты, модерации контента, скрытия персональных данных PII и подробного логирования для соблюдения нормативных требований.
Мощная наблюдаемость
Полноценная наблюдаемость стека
Отслеживайте каждый токен, анализируйте распределение задержек и паттерны трафика в реальном времени. Нативная интеграция с Prometheus, Grafana и ClickHouse.
Готовая к нагрузкам,
Cloud-Native архитектура
Разделение уровней управления и данных обеспечивает высокую масштабируемость, обновление без простоев и корпоративную надежность.
Уровень данных без состояния
Горизонтально масштабируемый уровень без сохранения состояния — мгновенно добавляйте или удаляйте узлы без миграции данных.
Конфигурация на базе etcd
Централизованное управление конфигурацией с распространением изменений в реальном времени и возможностью горячей перезагрузки.
Разделение ответственности
Уровень управления отвечает за менеджмент; уровень данных — за трафик. Независимое масштабирование и обновление.
Развертывание за минуты, а не недели
OpenAI-совместимый API. Готов к работе с первого дня.
Безопасность корпоративного уровня, встроенная в каждый запрос
- Ограничение TPM / RPM — лимиты токенов в минуту и запросов в минуту для каждого ключа и модели
- Защитные барьеры — блокируйте инъекции в промпты, утечки PII и токсичный контент до того, как они попадут в модель
- Контроль доступа по ключам — ограничьте список моделей, доступных для каждого API-ключа
- Лимиты параллелизма — не позволяйте отдельным потребителям монополизировать ресурсы
100+ LLM-провайдеров, один шлюз
Подключайтесь к любому крупному LLM-провайдеру через единый OpenAI-совместимый интерфейс. Никакой привязки к поставщику.
Лучшие тарифные планы
Начните бесплатно с нашей открытой версии. Переходите на корпоративный уровень, когда будете готовы.
Open Source
Все, что нужно для начала работы с AISIX
- Подключение 100+ LLM-провайдеров
- Балансировка нагрузки + лимиты RPM/TPM
- Управление виртуальными ключами
- OpenTelemetry, Prometheus, Jaeger
- Защитные барьеры для моделей
Enterprise
Облако или Self-Hosted. Для команд, управляющих AI-трафиком в больших масштабах.
- Включает все функции Open Source
- Приоритетная поддержка + SLA
- Бюджеты, команды и RBAC
- Аудит и комплаенс
- Полный набор корпоративных функций