На рынке много сложных приложений для наблюдаемости, но мало таких мощных, универсальных и с открытым исходным кодом, которыми посредством мониторинга Prometheus упрощается процесс сбора важных метрик кластеров Kafka. StreamForge — интуитивно понятный дашборд, где легко добавлять и выбирать категории показателей и запросы под конкретные задачи.
Для получения метрик в реальном времени из кластера Kafka, размещаемого на AWS MSK или локальном компьютере, настроим и подключим YAML-файл Prometheus, следуя четким пошаговым инструкциям. Несколькими командами интерфейса командной строки и небольшими блоками кода, добавленными в конфигурационные файлы, мгновенно получим тысячи показателей.
Все подробности конфигурации находятся в README.
Принцип работы
Зайдя на дашборд безопасно через OAuth или по подтвержденным имени пользователя и паролю, подключаем конечную точку кластера Kafka к форме ввода источника данных и добавляем пользовательские категории и запросы. А дальше настраиваем дашборд на мониторинг нужных данных, между сеансами настройки сохраняются. То, что мониторить уже не нужно, просто удаляем. Возможности с легкостью принимать обоснованные решения по кластерам расширились.
Функционал приложения
На платформе имеются безопасные варианты входа через Google, Facebook и GitHub OAuth, а также чат-бот с ИИ для мгновенной поддержки.
Чтобы получать разнообразные метрики при подключении Prometheus к кластеру Kafka, мощный функционал собран в одном месте, включая полные конфигурации JMX и Node Exporter. Благодаря функции наведения курсора для быстрого и удобного просмотра сведений по каждому запросу показателей и обновляемому в реальном времени отображению, мониторинг еще никогда не был таким интуитивно понятным.
Среди метрик для мониторинга выделяются запросы на выборку данных от брокера, центральный процессор, задержка, активные контроллеры и брокеры, а также любые отключенные брокеры или разделы.
Это проект с открытым исходным кодом, здесь всегда приветствуются обратная связь и участники с новыми идеями и доработками.
StreamForge — это бета-версия продукта, разработанная в партнерстве с OSLabs.
Зарегистрируйтесь, войдите на сайте или загляните сюда.
Читайте также:
- Удаленная отладка контейнеризованного Java-приложения с IntelliJ IDEA
- Жизненный цикл сообщений Kafka: от отправки до получения
- ClickHouse: оконные функции с нуля
Читайте нас в Telegram, VK и Дзен
Перевод статьи Allie Itczak: Introducing StreamForge: a customizable Kafka metrics observability dashboard
