Создание устойчивости AI-агентов: автоматическое переключение между OpenAI и DeepSeek через API Gateway

January 31, 2025

Technology

Основные выводы

  • Приложения на основе ИИ, использующие OpenAI или DeepSeek, должны корректно обрабатывать сбои API для обеспечения бесперебойной работы.
  • API-шлюз, такой как Apache APISIX, может выступать в роли балансировщика нагрузки и механизма отказоустойчивости, повышая устойчивость систем на основе ИИ.
  • API DeepSeek совместим с OpenAI, что позволяет легко интегрировать его с плагином OpenAI в Apache APISIX.
  • Практическое руководство по настройке Apache APISIX для автоматического переключения между OpenAI и DeepSeek.

Рост популярности DeepSeek и необходимость устойчивости ИИ

DeepSeek недавно привлек значительное внимание как мощный поставщик LLM, конкурирующий с OpenAI по производительности и совместимости API. Однако как OpenAI, так и DeepSeek сталкивались с перебоями в работе, что вызывало проблемы для приложений, зависящих от них.

Для ИИ-агентов и приложений устойчивость критически важна. Перебои в обслуживании могут ухудшить пользовательский опыт, нарушить бизнес-процессы и привести к простоям. Надежная стратегия отказоустойчивости необходима для обеспечения непрерывного доступа к услугам LLM.

Использование API-шлюза для автоматической отказоустойчивости

API-шлюз может служить централизованным уровнем управления трафиком, направляя запросы к нескольким вышестоящим сервисам. В случае с OpenAI и DeepSeek шлюз может отслеживать доступность и автоматически переключаться между провайдерами, если один из них выходит из строя.

Apache APISIX, открытый API-шлюз, позволяет осуществлять такое динамическое переключение между вышестоящими сервисами. С его плагином OpenAI и встроенными возможностями балансировки нагрузки он может интеллектуально маршрутизировать запросы на основе проверок работоспособности в реальном времени и стратегий отказоустойчивости.

Преимущества использования API-шлюза для отказоустойчивости LLM

  • Высокая доступность: Обеспечивает работоспособность ИИ-агентов даже при сбое одного из провайдеров.
  • Автоматическое переключение: Обнаруживает сбои API и плавно перенаправляет трафик.
  • Балансировка нагрузки: Эффективно распределяет запросы между несколькими вышестоящими сервисами.
  • Безопасность и наблюдаемость: Улучшает безопасность и мониторинг API.

Настройка Apache APISIX для отказоустойчивости OpenAI и DeepSeek

Поскольку API DeepSeek полностью совместим с OpenAI, интеграция обоих под Apache APISIX проста. Ниже приведено пошаговое руководство по настройке Apache APISIX для автоматической отказоустойчивости.

Шаг 1: Определение сервиса LLM и маршрута

services:
  - name: LLM Service
    routes:
      - uris:
          - /v1/chat/completions
        name: llm-chat

Шаг 2: Установка ключа API LLM через плагин

services:
  - name: LLM Service
    routes:
      - uris:
          - /v1/chat/completions
        name: llm-chat
        plugins:
          proxy-rewrite:
            headers:
              set:
                Authorization: LLM-API-KEY

Шаг 3: Настройка вышестоящих сервисов и логики отказоустойчивости

services:
  - name: LLM Service
    routes:
      - uris:
          - /v1/chat/completions
        name: llm-chat
        plugins:
          proxy-rewrite:
            headers:
              set:
                Authorization: LLM-API-KEY
    upstream:
      scheme: https
      type: roundrobin
      nodes:
        - host: api.openai.com
          port: 443
          weight: 100
        - host: api.deepseek.com
          port: 443
          weight: 1
          priority: -1
      checks:
        active:
          http_path: /
          healthy:
            successes: 1
          unhealthy:
            http_failures: 3
        passive:
          healthy:
            successes: 1
          unhealthy:
            http_failures: 3

При такой настройке Apache APISIX автоматически перенаправит трафик на DeepSeek, если API OpenAI станет недоступен, что обеспечит минимальные перебои.

Магия происходит, когда приоритет DeepSeek установлен на -1, что означает, что этот сервис предназначен для резервного копирования и автоматически активируется, когда сервис OpenAI недоступен.

Заключение

Реализация стратегии отказоустойчивости на основе API-шлюза является важным шагом для повышения устойчивости приложений на основе ИИ. Apache APISIX предоставляет гибкое и эффективное решение для автоматического переключения между OpenAI и DeepSeek, сокращая время простоя и повышая надежность.

Для разработчиков, стремящихся создавать устойчивые ИИ-системы, интеграция Apache APISIX с OpenAI и DeepSeek является практичным и масштабируемым подходом. Попробуйте Apache APISIX сегодня, чтобы обеспечить бесперебойную работу ИИ!

Tags:
API Gateway Basics