Open source AI router

Route any AI model
through one API

OpenGate — единый прокси для LLM, генерации изображений, аудио и текста. Автоматическая маршрутизация, fallback между провайдерами, кэширование и rate limiting из коробки.

Get StartedView on GitHub
50+
Models
10+
Providers
<5ms
Overhead

Everything you need
to run AI in production

OpenGate берёт на себя всю инфраструктурную сложность — от маршрутизации запросов до мониторинга затрат.

Smart Routing

Автоматический выбор оптимальной модели по стоимости, скорости и качеству. Настраиваемые правила маршрутизации.

Failover & Retry

Автоматическое переключение между провайдерами при ошибках. Exponential backoff и circuit breaker из коробки.

Response Caching

Кэширование ответов с настраиваемым TTL. Снижение затрат на повторяющиеся запросы до 80%.

Rate Limiting

Контроль нагрузки на каждый эндпоинт. Token bucket алгоритм с настраиваемыми лимитами.

Multi-modal Support

Единый API для текста, изображений, аудио и video. Одна интеграция — все возможности.

Provider Agnostic

OpenAI, Anthropic, Replicate, Stability, ElevenLabs и десятки других. Меняйте провайдеров без изменения кода.

Cost Tracking

Детальная аналитика затрат по моделям, проектам и пользователям. Контроль бюджета в реальном времени.

Middleware Pipeline

Плагины для логирования, трансформации запросов, PII-фильтрации и кастомных обработчиков.

50+ models
one unified interface

LLM

Text generation, chat, code completion, reasoning

GPT-4oClaude 4Gemini 2.5Llama 4MistralDeepSeek

Image

Text-to-image, editing, inpainting, upscaling

DALL·E 4Stable DiffusionFlux ProMidjourney APIImagen 3

Audio

TTS, STT, music generation, audio editing

ElevenLabsOpenAI TTSWhisperSunoUdio

Available Providers

OpenAIAnthropicGoogleMetaReplicateTogetherFireworksGroqDeepInfraElevenLabsStability

Drop-in
replacement

OpenGate сохраняет OpenAI-совместимый API. Замените base URL и получите маршрутизацию, fallback и мониторинг без изменения кодовой базы.

Полная совместимость с OpenAI SDK
Автоматический выбор провайдера
Параллельные запросы к нескольким моделям
Стриминг с промежуточными результатами
python
1from opengate import Gateway
2
3gate = Gateway()
4
5# Простой chat completion
6response = gate.chat.completions.create(
7    model="openai/gpt-4o",
8    messages=[{"role": "user", "content": "Explain quantum computing"}],
9    fallback=["anthropic/claude-4", "google/gemini-2.5"],
10)
11
12print(response.choices[0].message.content)
13print(f"Used: {response.model} — {response.usage.total_tokens} tokens")

Ready to ship
faster?

Установите OpenGate за 5 минут и получите production-ready AI инфраструктуру.

pip install opengate

Получить счёт на почту

Get StartedRead Docs