Подключение Kafka и Clickhouse

Рекомендация более 10 млн строк рассмотрите вариант использования Kafka в архивных таблицах

Наличие значимых таймаутов в построении отчетов (более 30 секунд)

Коробочный предельный таймаут построения отчетов 60 секунд.

Ожидаемый эффект - ожидаемый таймаут не более 1 секунды. Время построения отчетоа не зависит от количества строк в архивных таблицах.

Мониторинг ресурсов виден

Мониторинг сервисов не увидим

Тестировщик??

Поднять Kafka и Clickhouse достпные друг другу

В домене создать storage на кафку и clickhouse

Трейс для поднятия.

DMS использует Click house

Создаем класс, где в качестве хранилища используется. Хранилище типа transaction log

  "storage_mode": "transaction_log"

storage:instance - название storage из шага выше.