Открыть меню
Toggle preferences menu
Открыть персональное меню
Вы не представились системе
Your IP address will be publicly visible if you make any edits.

Приложение ETL: различия между версиями

Материал из Платформа Эра. Документации
Новая страница: «ETL (Extract, Transform, Load) — это приложения для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (экземпляра платформы) в другой (экземпляр платформы). Общий принцип работы приложения ETL внутри Платфо...»
 
Нет описания правки
 
Строка 1: Строка 1:
[[Файл:Схема взаимодействия ETL.png|мини|Схема взаимодействия ETL]]
ETL (Extract, Transform, Load) — это приложения для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (экземпляра платформы) в другой (экземпляр платформы).
ETL (Extract, Transform, Load) — это приложения для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (экземпляра платформы) в другой (экземпляр платформы).


Общий принцип работы приложения ETL внутри Платформы A, которое взаимодействует с Платформой B.
Общий принцип работы приложения ETL внутри Платформы A, которое взаимодействует с Платформой B.
 
[[Файл:Настройка взаимодействия.png|мини|Настройка взаимодействия]]
Запустите приложение ETL (для пользователя должна присутствовать роль etl_admin) и создайте два провайдера данных.
Запустите приложение ETL (для пользователя должна присутствовать роль etl_admin) и создайте два провайдера данных.


# Платформа A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.
# Платформа A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.
# Платформа B. Удаленный экземпляр платформы B. Укажите адрес сервера, домен и токен.
# Платформа B. Удаленный экземпляр платформы B. Укажите адрес сервера, домен и токен.
 
[[Файл:Настройка канала интеграции для ETL.png|мини|Настройка канала интеграции для ETL]]
Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен product_layer. Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера, указав токен удалённой Платформы B.
Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен product_layer. Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера, указав токен удалённой Платформы B.


Строка 15: Строка 16:


Добавьте запись на любом из экземпляров платформы. В разделе «Мониторинг правил» проконтролируйте выполнения синхронизации в режиме реального времени при помощи WebSocket-протокола.
Добавьте запись на любом из экземпляров платформы. В разделе «Мониторинг правил» проконтролируйте выполнения синхронизации в режиме реального времени при помощи WebSocket-протокола.
 
[[Файл:Провайдеры.png|мини|Провайдеры]]
[[Файл:Мониторинг.png|мини|Мониторинг]]
Возможно использовать более сложные правила для переноса данных из различных классов, будь то системные, продуктовые или пользовательские классы платформы.  
Возможно использовать более сложные правила для переноса данных из различных классов, будь то системные, продуктовые или пользовательские классы платформы.  
[[Категория:Приложения]]
[[Категория:Приложения]]

Текущая версия от 13:24, 11 декабря 2024

Схема взаимодействия ETL

ETL (Extract, Transform, Load) — это приложения для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (экземпляра платформы) в другой (экземпляр платформы).

Общий принцип работы приложения ETL внутри Платформы A, которое взаимодействует с Платформой B.

Настройка взаимодействия

Запустите приложение ETL (для пользователя должна присутствовать роль etl_admin) и создайте два провайдера данных.

  1. Платформа A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.
  2. Платформа B. Удаленный экземпляр платформы B. Укажите адрес сервера, домен и токен.
Настройка канала интеграции для ETL

Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен product_layer. Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера, указав токен удалённой Платформы B.

Сохраните значения. Провайдеры подключаются автоматически.

Создайте правило извлечения, трансформации и загрузки данных. В данном примере мы синхронизируем в обе стороны данные справочника приложения smart/Accounts.

Добавьте запись на любом из экземпляров платформы. В разделе «Мониторинг правил» проконтролируйте выполнения синхронизации в режиме реального времени при помощи WebSocket-протокола.

Провайдеры
Мониторинг

Возможно использовать более сложные правила для переноса данных из различных классов, будь то системные, продуктовые или пользовательские классы платформы.