Версия от 11:27, 14 июля 2025

Общая информация

В составе платформы Эра, начиная с версии 1.9, доступно приложение ИИ. Данное приложение позволяет использовать большие языковые модели (LLM) в рамках платформы.

На текущий момент, основным применением LLM в рамках платформы являются чат-боты.

Приложение ИИ предоставляет следующий набор возможностей:

Подключение различных провайдеров LLM (с форматом API OpenAI и Ollama)
Создание ботов, которые взаимодействуют с конкретным провайдером
Создание файловых баз знаний для ботов
Просмотр диалогов с ботами

Имеется возможность использовать как облачные решения, так и развернутые во внутреннем контуре модели.

Все запросы к языковым моделям осуществляются не напрямую из платформы Эра, а через специализированный сервис Era AI Proxy, который предоставляет единый интерфейс для работы с моделями, осуществляя преобразование запросов в необходимый API внутри себя.

Установка сервиса AI Proxy

Сервис AI Proxy работает как отдельный docker-контейнер и является отдельным микросервисом, не входящим в контур платформы эра. Соответственно, он не управляется доменным центром эра, не осуществляется автоматическая миграция и сборка логов. Сервис может быть развернут как на одном из сервером, обслуживающем платформу, так и на отдельном сервере (например, отдельном сервере для LLM с GPU).

Установка контейнера сервиса выполняется несколькими простыми командами:

wget https://download.era-platform.ru/ai/era_ai_proxy_1_1_0.tar.gz
docker load -i era_ai_proxy_1_1_0.tar.gz
docker run --name era_ai_proxy \
           --tmpfs /run:rw,noexec,nosuid,size=4096k \
           --publish 32443:443 --publish 32080:8080 \
           -dit \
           --restart unless-stopped \
           era/ai_proxy:1.1.0

После чего он становится доступен на портах 32443 (HTTPS) и 32080 (HTTP).

После запуска сервиса, необходимо в вашем основном (не мастер) домене, в приложении Администратор платформы, раздел Параметры -> Система, задать значение параметра ai.service.address (пример на скриншоте).

На этом настройка прокси заканчивается и можно переходить к установке и подключению моделей.

Подготовка сервера для LLM

@@ Строка 11: / Строка 11: @@
 * Создание файловых баз знаний для ботов
 * Просмотр диалогов с ботами
+Имеется возможность использовать как облачные решения, так и развернутые во внутреннем контуре модели.
+Все запросы к языковым моделям осуществляются не напрямую из платформы Эра, а через специализированный сервис Era AI Proxy, который предоставляет единый интерфейс для работы с моделями, осуществляя преобразование запросов в необходимый API внутри себя.
+= Установка сервиса AI Proxy =
+Сервис AI Proxy работает как отдельный docker-контейнер и является отдельным микросервисом, не входящим в контур платформы эра. Соответственно, он не управляется доменным центром эра, не осуществляется автоматическая миграция и сборка логов. Сервис может быть развернут как на одном из сервером, обслуживающем платформу, так и на отдельном сервере (например, отдельном сервере для LLM с GPU).
+Установка контейнера сервиса выполняется несколькими простыми командами:<syntaxhighlight lang="bash">
+wget https://download.era-platform.ru/ai/era_ai_proxy_1_1_0.tar.gz
+docker load -i era_ai_proxy_1_1_0.tar.gz
+docker run --name era_ai_proxy \
+           --tmpfs /run:rw,noexec,nosuid,size=4096k \
+           --publish 32443:443 --publish 32080:8080 \
+           -dit \
+           --restart unless-stopped \
+           era/ai_proxy:1.1.0
+</syntaxhighlight>После чего он становится доступен на портах 32443 (HTTPS) и 32080 (HTTP).
+[[Файл:Установка адреса прокси в параметрах системы.png|мини|Установка адреса прокси в параметрах системы]]
+После запуска сервиса, необходимо в вашем основном (не мастер) домене, в приложении '''Администратор платформы''', раздел '''Параметры''' -> '''Система''', задать значение параметра ai.service.address (пример на скриншоте).
+На этом настройка прокси заканчивается и можно переходить к установке и подключению моделей.
+= Подготовка сервера для LLM =
 [[Категория:Приложения]]