Перейти к содержимому страницы
Переключить меню
Переключить меню настроек
Переключить персональное меню
Вы не представились системе
Ваш IP-адрес будет виден всем, если вы внесёте какие-либо изменения.

Подключение Kafka и Clickhouse

Материал из Платформа Эра. Документации
Версия от 11:59, 1 апреля 2025; Oagapov (обсуждение | вклад) (Новая страница: «Рекомендация более 10 млн строк рассмотрите вариант использования Kafka в архивных таблицах Наличие значимых таймаутов в построении отчетов (более 30 секунд) Коробочный предельный таймаут построения отчетов 60 секунд. Ожидаемый эффект - ожидаемый тайма...»)
(разн.) ← Предыдущая версия | Текущая версия (разн.) | Следующая версия → (разн.)

Рекомендация более 10 млн строк рассмотрите вариант использования Kafka в архивных таблицах


Наличие значимых таймаутов в построении отчетов (более 30 секунд)

Коробочный предельный таймаут построения отчетов 60 секунд.

Ожидаемый эффект - ожидаемый таймаут не более 1 секунды. Время построения отчетоа не зависит от количества строк в архивных таблицах.

Мониторинг ресурсов виден

Мониторинг сервисов не увидим

Тестировщик??

Поднять Kafka и Clickhouse достпные друг другу

В домене создать storage на кафку и clickhouse


Трейс для поднятия.

DMS использует Click house


Создаем класс, где в качестве хранилища используется. Хранилище типа transaction log

  "storage_mode": "transaction_log"

storage:instance - название storage из шага выше.