Вы отправили запрос модели. Модель возвратила текст. Вы показали его пользователю.

Эта эпоха заканчивается.

Реальная проблема, с которой сейчас сталкиваются компании — не модели ИИ. Это системы на основе ИИ.

Модели сами по себе бесполезны без:

  • инструментов;
  • памяти;
  • оркестрации;
  • событийных триггеров;
  • рабочих процессов (пайплайнов).

Сегодня мы являемся свидетелями появления совершенно нового уровня в бэкенд-разработке — инфраструктуры для агентов.

И так же, как базы данных и очереди сообщений стали неотъемлемыми бэкенд-примитивами, инфраструктура для агентов скоро станет стандартной частью любого программного стека.

Модели ИИ — новый процессор

Как устроено современное программное обеспечение?

Простой бэкенд-стек может выглядеть так:

Клиент
   │
API-слой
   │
Бизнес-логика
   │
База данных

Когда компании только начинали использовать большие языковые модели (LLM), они просто вставляли модель в этот стек:

Клиент
   │
API
   │
Вызов LLM
   │
Возврат ответа

Это работает для чат-ботов.

Но это совершенно не работает для реальных систем.

Почему?

Потому что полезные приложения на базе ИИ требуют рассуждений в несколько шагов, вызова внешних инструментов и запоминания предыдущего контекста.

Другими словами, им требуются агенты.

Переход от промптов к агентам

Промпт — единичный запрос.

Агент — система, которая может планировать, действовать, наблюдать и повторять (итерировать).

Вместо такой схемы:

Пользователь → Промпт → Модель → Ответ

Теперь мы имеем что-то в этом роде:

Пользователь
 │
Агент
 │
 ├── Рассуждение
 ├── Вызов инструментов
 ├── Сохранение в память
 ├── Запуск событий
 └── Генерация вывода

Это создает совершенно иную архитектурную проблему: как оркестровать системы ИИ, которые ведут себя как автономные сервисы?

Что означает «инфраструктура для агентов»

Инфраструктура для агентов — бэкенд-слой, отвечающий за координацию поведения ИИ.

Обычно он включает пять основных компонентов:

  1. Оркестрация агентов.
  2. Выполнение инструментов.
  3. Системы памяти.
  4. Событийные триггеры.
  5. Управление рабочими процессами.

Разберем их подробнее.

1. Оркестрация агентов

Оркестрация агентов определяет, как агент думает и выполняет задачи

Вместо одного вызова модели, агент может выполнять несколько шагов рассуждения.

Упрощенный цикл оркестрации выглядит так:

пока задача_не_выполнена:

    думать()

    выбрать_действие()

    если действие == инструмент:

        вызвать_инструмент()

    если действие == память:

        сохранить_контекст()

    наблюдать_результаты()

Визуально:

        ┌───────────┐
        │   ВВОД           │
        └─────┬─────┘
                    │
        ┌─────▼─────┐
        │   АГЕНТ          │
        │  Рассуждение │
        └─────┬─────┘
                     │
   ┌────────┼──────────┐
   │                    │                │
   ▼                    ▼               ▼
 Инструменты     Память     API
   │                    │                 │
   └──────────┴─────── ─┘
                      │
        ┌──── ─▼── ──┐
        │  ОТВЕТ           │
        └───────────┘

Фреймворки вроде LangGraph, AutoGen и CrewAI — ранние попытки решить проблему оркестрации. Но, вероятно, реальные реализации будут представлять собой собственную инфраструктуру, создаваемую самими компаниями.

2. Вызов инструментов 

Агенты становятся по-настоящему мощными, когда могут взаимодействовать с внешними системами, такими как:

  • базы данных;
  • API;
  • поисковые системы;
  • внутренние сервисы;
  • файловые системы.

Вместо генерации текста, модель решает, какой инструмент использовать.

Пример определения инструмента:

def search_docs(query: str) -> str:
    results = vector_db.search(query)
    return results

Пример использования агентом:

Пользователь: "Найди последние логи об ошибках платежей"

Рассуждение агента:

1. Нужны логи
2. Использовать инструмент поиска по логам
3. Суммировать результаты

Поток выполнения:

Агент
 │
 ├── search_logs()
 │
 └── summarize()

Без выполнения инструментов большие языковые модели — просто генераторы текста. С инструментами они становятся операторами программного обеспечения.

3. Системы памяти

Отсутствие состояния в запросах — огромное ограничение. 

Агентам нужна память.

Обычно выделяют три вида памяти.

Краткосрочная память

Контекст разговора.

Пользователь: Исправь этот баг
Агент: В чем ошибка?
Пользователь: NullPointerException

Долгосрочная память

Сохраненная информация между сессиями.

Пример: Пользователь предпочитает Go, а не Python; 
Пользователь работает с пайплайнами Kafka.

Память на основе поиска (Retrieval Memory)

Векторные базы данных, позволяющие агентам искать по базе знаний.

Агент → векторный поиск → извлечение документов

Пример архитектуры:

              Агент
                  │
    ┌──────┼───────┐
    │            │              │
 Краткоср.   Долгоср.   Память
память        память      на основе поиска

Память превращает системы на основе ИИ из инструментов в коллабораторов (помощников).

4. Событийно-ориентированные агенты

Самый интересный сдвиг происходит здесь. Агенты переходят от систем, управляемых запросами, к системам, управляемым событиями.

Вместо ожидания пользовательских запросов, агенты реагируют на системные события.

Пример:

Новая ошибка в логе
     │
Событие Kafka
     │
ИИ-агент
     │
Расследование + создание отчета

Архитектура:

Системные события
      │
      ▼
 Шина события (Kafka / SNS)
      │
      ▼
   ИИ-агент 
      │
  Принятие мер

Примеры событийно-ориентированных агентов:

  • агенты анализа инцидентов;
  • агенты обнаружения мошенничества;
  • автономные системы мониторинга;
  • боты для автоматического ревью кода.

Здесь ИИ начинает вести себя как инфраструктура, а не как функциональность.

5. Рабочие процессы на основе ИИ

Сложные задачи часто требуют коллаборационной работы нескольких агентов.

Пример рабочего процесса:

Пользователь просит: "Проанализируй отток клиентов"

Агент 1: Получение данных
Агент 2: Статистический анализ
Агент 3: Генерация отчета

Диаграмма:

Запрос пользователя
            │
            ▼
┌─────────────┐
│ Координатор      │
└─────┬───────┘
            │
 ┌──── ┼────┐
 ▼         ▼      ▼
Агент  Агент Агент
данных МО отчета

Этот паттерн называется «многоагентные рабочие процессы«. 

Он быстро становится основой для продвинутых приложений на основе ИИ.

Почему это станет ключевым бэкенд-слоем

Сейчас большинство команд экспериментируют с агентами.

Вскоре они осознают, что им нужна инфраструктура для:

  • планирования агентов;
  • отладки поведения агентов;
  • мониторинга вызовов инструментов;
  • управления памятью;
  • обработки итераций и сбоев.

Другими словами, им нужно нечто похожее на распределенную систему.

Будущие бэкенд-стеки могут выглядеть так:

Клиент
  │
API-слой
  │
Логика приложения
  │
Инфраструктура агентов
  │
 ├── Движок оркестрации
 ├── Реестр инструментов
 ├── Слой памяти
 ├── Шина событий
 └── Движок рабочих процессов
  │
Данные и сервисы

Вот почему такие компании, как OpenAI, Anthropic и Microsoft, активно инвестируют в агентные фреймворки.

Они знают, что следующая платформенная битва будет не за модели. 

Она будет за то, кому принадлежит среда выполнения агентов.

Компании, которые выиграют, создадут платформы для агентов

Самыми успешными в эру ИИ будут не те компании, которые просто используют модели. Ими будут компании, которые создают платформы для агентов.

Внутренние системы, где команды могут легко создавать агентов, будут:

  • иметь доступ к корпоративным данным;
  • использовать внутренние инструменты;
  • реагировать на события;
  • взаимодействовать с другими агентами.

Так же, как Kubernetes стандартизировал оркестрацию инфраструктуры, мы скоро можем увидеть нечто подобное для оркестрации агентов.

Реальный сдвиг, который упускают большинство инженеров

Сейчас большинство разработчиков представляют архитектуру ИИ так:

Приложение → API LLM → Ответ

Но будущее ближе к этому:

Приложение
 │

Среда выполнения агента (Agent Runtime)
 │
 ├── Инструменты
 ├── Память
 ├── Рабочие процессы
 └── События
 │
LLM Модели

Заметьте важную деталь: модель больше не является центром системы

Она становится просто еще одним компонентом. 

Реальная ценность смещается в сторону того, как оркестрируется интеллект.

Заключение

Каждый крупный сдвиг в разработке ПО создает новый инфраструктурный слой:

  • Веб-приложения создали потребность в серверах приложений.
  • Микросервисы создали потребность в платформах оркестрации.
  • ИИ-агенты создадут потребность в инфраструктуре для агентов.

И через пять лет большинство продакшен-систем будут включать то, чего сегодня нет в большинстве стеков: среду выполнения агента, расположенную между приложением и вашими данными.


Читайте также:

Читайте нас в Telegram, VK и Дзен


Перевод статьи Yash Batra: The Next Backend Layer: Why Every Company Will Soon Need Agent Infrastructure

Предыдущая статьяЯ сравнил 4 Python веб-фреймворка, и один из них меня удивил