Общая информация
ETL (Extract, Transform, Load) — это приложения для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (домена) к другому провайдеру (домену). При этом домены могут принадлежать одному или разным экземплярам платформы.
ETL поддерживает:
- Гибкие правила синхронизации с маппингом полей;
- Различные режимы работы: ручной, по таймеру, в реальном времени;
- Двунаправленную синхронизацию;
- Фильтрацию данных на уровне источника и назначения;
- Обработку ошибок и контроль состояния.
Общий принцип работы приложения ETL внутри Платформы с Доменом A, которое взаимодействует с другим экземпляров платформы с Доменом B.
Для работы ETL используются следующие сущности:
Порядок настройки
Запустите приложение ETL (для пользователя должна присутствовать роль etl_admin) и создайте два провайдера данных.
- Domain A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.
- Domain B. Удаленный экземпляр платформы B. Укажите адрес сервера, домен и токен.
Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен product_layer. Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера, указав токен удалённой Платформы B.
Сохраните значения. Провайдеры подключаются автоматически.
Создайте правило извлечения, трансформации и загрузки данных. В данном примере мы синхронизируем в обе стороны данные справочника приложения smart/Accounts.
Добавьте запись на любом из экземпляров платформы. В разделе «Мониторинг правил» проконтролируйте выполнения синхронизации в режиме реального времени при помощи WebSocket-протокола.
Возможно использовать более сложные правила для переноса данных из различных классов, будь то системные, продуктовые или пользовательские классы платформы.