AI를 비용이 아니라 —
경쟁 우위로.
AISIX는 LLM과 에이전트를 위한 오픈 소스 AI 게이트웨이입니다. 모든 모델 앞에 OpenAI 호환 API 하나를 두고, AI 기능을 며칠 만에 운영에 올린 뒤 성과가 나는 것만 확장하세요.
Apache-2.0 코어 · 100+ 제공자 · Rust로 개발 · 문서 · 요금 보기
from openai import OpenAI client = OpenAI( base_url="https://your-aisix-gateway/v1", # point to AISIX api_key="AISIX_API_KEY", ) # your existing OpenAI code — unchanged resp = client.chat.completions.create( model="gpt-4o", # or claude, gemini, deepseek… 100+ messages=[{"role": "user", "content": "Hello"}], )
AI 배관 작업이 로드맵을 늦추게 두지 마세요
첫 번째 프롬프트는 쉽습니다. 어려운 것은 50번째 서비스, 10번째 모델, 그리고 고객 앞에서 처음 터지는 장애입니다. 그 복잡성을 떠맡는 것이 게이트웨이이며, 덕분에 팀은 계속 출시할 수 있습니다.
팀마다 같은 배관을 새로 만듭니다
- 제공자마다 다른 SDK — 연동할 때마다 프로젝트 하나
- 공유 한도가 없어 폭주하는 루프 하나가 전체를 멈춤
- 청구서가 와야 보이는 비용
- 제공자 키가 모든 서비스에 복사됨
- 가드레일도 감사 기록도 없어 고객에게 AI를 내보내기 두려움
AI를 더 빠르게 출시하는 하나의 플랫폼
- OpenAI 호환 API 하나 — 한 번 연동하면 다시 쓸 일 없음
- 조직 전체 한도와 예산 — 예기치 못한 일 없이 확장
- 모든 호출 기록 — 무엇이 효과적인지 확인
- 키 중앙 관리·암호화 — 비밀 정보 유출 없이 출시
- 가드레일, 재시도, 페일오버 — 고객 앞에 AI를 배치
코드를 바꾸지 않고 모델을 교체
기존 OpenAI SDK가 AISIX를 바라보게만 하면 모든 주요 제공자에 닿습니다. 재작성도, 벤더별 SDK도, 종속도 없습니다.
- OpenAI 호환 채팅, 스트리밍(SSE), 임베딩, 리랭크, 오디오, 이미지 — 여기에 Anthropic 호환
/v1/messages까지. - 가상·라우팅 모델로 모델 이름 하나를 여러 제공자와 리전으로 분산할 수 있습니다.
- 클라우드 제공자 — AWS Bedrock, Azure OpenAI, GCP Vertex AI — 를 직접 API와 함께 사용합니다.
AI 게이트웨이 전체를 하나의 콘솔에서
요청, 지연 시간, 오류, 비용, 모델 상태를 모든 환경에서 실시간으로 확인합니다. 대시보드를 직접 만들 필요가 없습니다.
AI를 운영에 올리는 데 필요한 모든 것
첫 프로토타입부터 운영 규모까지 — 하나의 플랫폼에 필요한 제어가 모두 들어 있습니다.
재작성 없이 모델을 배포하고 교체합니다. 어떤 모델 이름이든 어떤 제공자(OpenAI, Anthropic, Bedrock, Vertex, Groq)에든 연결하고, 가중치 기반 부하 분산과 자동 페일오버, 상태 확인, 의미 기반·비용 최적 라우팅을 함께 사용합니다.
예기치 못한 일 없이 운영 트래픽으로 확장합니다. 슬라이딩 윈도 방식의 요청(RPM / RPD) 및 토큰(TPM / TPD) 제한에 동시 실행 상한을 더했습니다. 키, 팀, 제공자 계정 단위로 적용되며 Redis를 통해 복제본 간에 동기화됩니다.
고객 앞에 AI를 자신 있게 내놓습니다. 입력 전과 출력 후 검사 — 키워드·정규식 차단 목록, PII 마스킹(Presidio), 프롬프트 인젝션 및 모더레이션(Lakera, OpenAI Moderation, Llama-Guard), 그리고 키 단위 모델 접근 제어.
성과가 나는 곳에 투자합니다. 모든 환경과 키, 구성원의 이번 달 지출을 한눈에. 키별·조직별 예산, 75 / 90 / 100% 알림, 모델별 비용 추적, 한도 도달 시 강제 중단을 지원합니다.
진짜 게이트웨이 — Python 프록시가 아닙니다
대부분의 AI 게이트웨이는 핫 패스에 놓인 스크립트 언어 계층에 불과합니다. AISIX는 AI를 위해 다시 만든 게이트웨이 인프라입니다.
Rust로 개발
1밀리초 미만의 오버헤드, 가비지 컬렉션으로 인한 멈춤 없음, 그리고 트래픽에 따라 수평으로 확장되는 무상태 데이터 플레인.
오픈 소스, Apache-2.0
게이트웨이 전체를 단일 바이너리로 직접 운영할 수 있습니다 — 무료로, 기한 없이, 종속 없이. 완전 관리형 AISIX Cloud에서 실행할 수도 있습니다.
Apache APISIX 팀이 만들었습니다
Apache APISIX를 만든 API7.ai의 5년 이상 운영 게이트웨이 엔지니어링 경험을 LLM과 에이전트에 맞게 다시 설계했습니다.
클라우드 또는 자체 VPC
관리형 클라우드에서 몇 분 만에 시작하거나, 컨트롤 플레인과 데이터 플레인을 자체 인프라 안에 전부 배포할 수 있습니다.
비즈니스를 키우는 AI를 출시하세요
OpenAI 호환 — SDK가 AISIX를 바라보게 하면 바로 시작입니다. 무료로 시작하며 신용카드가 필요 없습니다.