Приложение ETL - История изменений

Oagapov в 06:43, 4 февраля 2026

2026-02-04T06:43:34Z

← Предыдущая версия		Версия от 06:43, 4 февраля 2026
Строка 77:		Строка 77:
	Для работы с системными классами используйте полный путь REST API ''/rest/v1/''. Например, ''/rest/v1/uc/providers/.'' Для работы с системными классами используйте '''только''' '''Ручной''' и '''Периодический''' режим запуска.		Для работы с системными классами используйте полный путь REST API ''/rest/v1/''. Например, ''/rest/v1/uc/providers/.'' Для работы с системными классами используйте '''только''' '''Ручной''' и '''Периодический''' режим запуска.

	Обратите внимание, что некоторые классы невозможно использовать в ETL-приложении. Например, те, которые содержат зашифрованные пароли или хэш-данные . Также некоторые системные классы имеют запрет на изменение данных.		Обратите внимание, что некоторые классы невозможно использовать в ETL-приложении. Например, те, которые содержат зашифрованные пароли или хэш-данные. Также некоторые системные классы имеют запрет на изменение данных.

	==== Порядок настройки ====		==== Порядок настройки ====

Oagapov: /* Работа с классами */

2026-01-30T14:23:35Z

Работа с классами

← Предыдущая версия		Версия от 14:23, 30 января 2026
Строка 73:		Строка 73:

	====== Работа с классами ======		====== Работа с классами ======
	Для синхронизации продуктовых классов используйте путь относительно класса ''model''. Например, для ''<nowiki>https://{ERAFQDN}/rest/v1/model/smart/Accounts</nowiki>'' используйте путь ''smart/Accounts''.		Для синхронизации продуктовых классов используйте путь относительно класса ''model''. Например, для ''<nowiki>https://{ERAFQDN}/rest/v1/model/smart/Accounts</nowiki>'' используйте путь ''smart/Accounts''. Для работы с продуктовыми классами используйте любой режим запуска.

	Для работы с системными классами используйте полный путь REST API ''/rest/v1/''. Например, ''/rest/v1/uc/providers/''		Для работы с системными классами используйте полный путь REST API ''/rest/v1/''. Например, ''/rest/v1/uc/providers/.'' Для работы с системными классами используйте '''только''' '''Ручной''' и '''Периодический''' режим запуска.

	Обратите внимание, что некоторые классы невозможно использовать в ETL-приложении. Например, те, которые содержат зашифрованные пароли или хэш-данные . Также некоторые системные классы имеют запрет на изменение данных.		Обратите внимание, что некоторые классы невозможно использовать в ETL-приложении. Например, те, которые содержат зашифрованные пароли или хэш-данные . Также некоторые системные классы имеют запрет на изменение данных.

Oagapov в 14:21, 30 января 2026

2026-01-30T14:21:44Z

← Предыдущая версия		Версия от 14:21, 30 января 2026
Строка 71:		Строка 71:
	}		}
	</syntaxhighlight>		</syntaxhighlight>

			====== Работа с классами ======
			Для синхронизации продуктовых классов используйте путь относительно класса ''model''. Например, для ''<nowiki>https://{ERAFQDN}/rest/v1/model/smart/Accounts</nowiki>'' используйте путь ''smart/Accounts''.

			Для работы с системными классами используйте полный путь REST API ''/rest/v1/''. Например, ''/rest/v1/uc/providers/''

			Обратите внимание, что некоторые классы невозможно использовать в ETL-приложении. Например, те, которые содержат зашифрованные пароли или хэш-данные . Также некоторые системные классы имеют запрет на изменение данных.

	==== Порядок настройки ====		==== Порядок настройки ====
Строка 95:		Строка 102:

	Возможно использовать более сложные правила для переноса данных из различных классов, будь то системные, продуктовые или пользовательские классы платформы.		Возможно использовать более сложные правила для переноса данных из различных классов, будь то системные, продуктовые или пользовательские классы платформы.
	[[Файл:Мониторинг ETL.png\|центр\|безрамки\|999x999пкс]]		[[Файл:Мониторинг ETL.png\|центр\|безрамки\|999x999пкс]]

	~~====== Важно ======~~
	Обратите внимание, что некоторые классы невозможно использовать в ETL-приложении. Например, те, которые содержат зашифрованные пароли или хэш-данные . Также некоторые системные классы имеют запрет на изменение данных.

	==== Дополнительные параметры ====		==== Дополнительные параметры ====

Oagapov: /* Создание провайдера */

2026-01-30T06:37:05Z

Создание провайдера

← Предыдущая версия		Версия от 06:37, 30 января 2026
Строка 81:		Строка 81:
	Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен ''product_layer.'' Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера для которого укажите токен удалённого Домена B.		Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен ''product_layer.'' Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера для которого укажите токен удалённого Домена B.

	Сохраните значения. Провайдеры подключаются автоматически и ~~перейдут~~ в статус ''connected''.		Сохраните значения. Провайдеры подключаются автоматически после сохранения настроек и переходят в статус ''connected''.
	[[Файл:Провайдер ETL.png\|центр\|безрамки\|999x999пкс]]		[[Файл:Провайдер ETL.png\|центр\|безрамки\|999x999пкс]]

Oagapov в 06:36, 30 января 2026

2026-01-30T06:36:13Z

← Предыдущая версия		Версия от 06:36, 30 января 2026
Строка 87:		Строка 87:
	Создайте правило ETL. Укажите провайдеров источника и получателя, созданных выше. Выберите режим загрузки данных (В реальном времени).		Создайте правило ETL. Укажите провайдеров источника и получателя, созданных выше. Выберите режим загрузки данных (В реальном времени).
	[[Файл:Правило ETL.png\|центр\|безрамки\|999x999пкс]]		[[Файл:Правило ETL.png\|центр\|безрамки\|999x999пкс]]
	В данном примере мы синхронизируем в ~~обе стороны~~ данные ~~трех~~ классов приложения Smart, а именно smart/Contacts, smart/Accounts и smart/Requests. Укажите для каждого класса состав правила с двусторонним направлением синхронизации данных.		В данном примере мы синхронизируем в обоих направлениях данные трёх классов приложения Smart, а именно smart/Contacts, smart/Accounts и smart/Requests. Укажите для каждого класса состав правила с двусторонним направлением синхронизации данных.
	[[Файл:Состав правила ETL.png\|центр\|безрамки\|999x999пкс]]		[[Файл:Состав правила ETL.png\|центр\|безрамки\|999x999пкс]]
	Повторите для классов smart/Accounts и smart/Requests.		Повторите для классов smart/Accounts и smart/Requests.

Oagapov: /* Создание провайдера */

2026-01-30T06:35:18Z

Создание провайдера

← Предыдущая версия		Версия от 06:35, 30 января 2026
Строка 79:		Строка 79:
	# Домен A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.		# Домен A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.
	# Домен B. Удаленный экземпляр платформы B. Укажите адрес сервера, домен и токен.		# Домен B. Удаленный экземпляр платформы B. Укажите адрес сервера, домен и токен.
	Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен product_layer. Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера~~, указав~~ токен удалённого Домена B.		Токен, необходимый для доступа к провайдеру, необходимо скопировать из приложения «Настройки», раздел «Каналы интеграции». Рекомендуем использовать токен ''product_layer.'' Скопируйте значение из поля «Локальный токен». Повторите действие для второго провайдера для которого укажите токен удалённого Домена B.

	Сохраните значения. Провайдеры подключаются автоматически и перейдут в статус ''connected''.		Сохраните значения. Провайдеры подключаются автоматически и перейдут в статус ''connected''.

Oagapov: /* Создание провайдера */

2026-01-30T06:33:54Z

Создание провайдера

← Предыдущая версия		Версия от 06:33, 30 января 2026
Строка 75:		Строка 75:

	====== Создание провайдера ======		====== Создание провайдера ======
	Запустите приложение ETL (для пользователя должна присутствовать роль ''etl_admin'') и создайте два провайдера данных.		Запустите приложение ETL (для пользователя должна присутствовать роль ''etl_admin'' и создайте два провайдера данных.

	# Домен A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.		# Домен A. Собственный экземпляр работы приложения ETL. Укажите адрес сервера, домен и токен.

Oagapov в 06:32, 30 января 2026

2026-01-30T06:32:57Z

← Предыдущая версия		Версия от 06:32, 30 января 2026
Строка 1:		Строка 1:
	==== Общая информация ====		==== Общая информация ====
	'''ETL''' ('''E'''xtract, '''T'''ransform, '''L'''oad) — это ~~приложения~~ для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (домена) к другому провайдеру (домену). При этом домены могут принадлежать одному или разным экземплярам платформы.		'''ETL''' ('''E'''xtract, '''T'''ransform, '''L'''oad) — это приложение для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (домена) к другому провайдеру (домену). При этом домены могут принадлежать одному или разным экземплярам платформы.

	ETL поддерживает:		ETL поддерживает:

Oagapov: /* Общая информация */

2026-01-29T21:55:59Z

Общая информация

← Предыдущая версия		Версия от 21:55, 29 января 2026
Строка 1:		Строка 1:
	==== Общая информация ====		==== Общая информация ====
	ETL (~~Extract~~, ~~Transform~~, ~~Load~~) — это приложения для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (домена) к другому провайдеру (домену). При этом домены могут принадлежать одному или разным экземплярам платформы.		'''ETL''' ('''E'''xtract, '''T'''ransform, '''L'''oad) — это приложения для обработки данных, которое используется для извлечения, преобразования и загрузки данных от одного провайдера (домена) к другому провайдеру (домену). При этом домены могут принадлежать одному или разным экземплярам платформы.

	ETL поддерживает:		ETL поддерживает:

Oagapov: /* Значения (values) */

2026-01-29T21:54:03Z

Значения (values)

← Предыдущая версия		Версия от 21:54, 29 января 2026
Строка 169:		Строка 169:

	====== Значения (values) ======		====== Значения (values) ======
			Используются для маппинга и определяет как поля источника сопоставляются с полями назначения.

			Прямое копирование поля<syntaxhighlight lang="json">
			{
			"values": {
			"targetField": "sourceField"
			}
			}
			</syntaxhighlight>Константа<syntaxhighlight lang="json">
			{
			"values": {
			"status": ["const", "active"]
			}
			}
			</syntaxhighlight>Значения из провайдера <syntaxhighlight lang="json">
			{
			"values": {
			"domain": ["sourceProvider", "domain"],
			"targetDomain": ["destinationProvider", "domain"]
			}
			}
			</syntaxhighlight>JavaScript-выражение<syntaxhighlight lang="json">
			{
			"values": {
			"fullName": {
			"code": "'[firstName]' + ' ' + '[lastName]'",
			"expressionKind": "expression"
			},
			"formattedPhone": {
			"code": "'5'.concat('[phone]')",
			"expressionKind": "expression"
			},
			"parsedData": {
			"code": "JSON.parse('[jsonField]').propertyName",
			"expressionKind": "expression"
			}
			}
			}
			</syntaxhighlight>Автоматический маппинг

			Используйте "*" для автоматического сопоставления полей с одинаковыми именами<syntaxhighlight lang="json">
			{
			"values": {
			"": ""
			}
			}
			</syntaxhighlight>или <syntaxhighlight lang="json">
			{
			"values": null
			}
			</syntaxhighlight>

	====== Игнорирование параметров (ignoreProperties) ======		====== Игнорирование параметров (ignoreProperties) ======