Платформа Эра. Документация - Вклад [ru]

Установка сервиса распознавания речи NanoASR

2026-09-18T16:05:37Z

AZykov: /* Установка на Windows */

= Общая информация =
[https://github.com/usunrise88/NanoASR NanoASR - это утилита с открытым исходным кодом], позволяющая запускать модели машинного обучения для распознавания речи (транскрибации) и разделения спикеров (диаризации).

Данный проект позволяет запускать передовые модели для распознавания речи на серверах, не оборудованных графическими ускорителями.

=== Системные требования ===
Для установки требуется 4гб свободного дискового пространства.

Технически, утилита способна работать на минимальной конфигурации - 1 ядро CPU и 1гб ОЗУ. Единственное требование к CPU - поддержка AVX-инструкций. В таком случае, она сможет обрабатывать 1 параллельный запрос, со скоростью примерно 0.5 от реального времени (1 минуту записи обрабатывать за 2 минуты). Точная скорость зависит от параметров CPU.

Рекомендуемые параметры сервера:

* 4 ядра CPU, AVX-инструкции
* 4гб RAM
* 20гб SSD

В таком режиме, NanoASR может обрабатывать до 4 параллельных запросов со скоростью реального времени (минуту записи за минуту расчетов), либо 2 параллельных запроса со скоростью х2 (минуту записи за 30 секунд расчетов).

= Технические детали =
Утилита написана на языке Golang и представляет собой единый бинарный файл. В качестве среды исполнения моделей используется библиотека sherpa-onnx.

Утилита поддерживает различные архитектуры моделей, однако "из коробки" загружает следующий набор:
{| class="wikitable"
|+Модели NanoASR
!Модель
!Назначение
|-
|gigaam-v3-ctc-punct-ru
|Распознавание речи
|-
|silero-vad-v5
|Детектор голосовой активности
|-
|pyannote-segmentation-3
|Модель разделения спикеров
|-
|campplus-sv-zh-en
|Модель построения "слепков" голосов (голосовых эмбеддингов)
|}

= Установка на Linux =
[[Файл:Установка NanoASR Linux.png|мини|Результат установки на Linux]]
Доступна быстрая установка с помощью готового скрипта.

Скрипт автоматически установит утилиту в /opt/nanoasr, зарегистрирует в systemd, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.<syntaxhighlight lang="bash">
curl -fsSL https://github.com/usunrise88/NanoASR/releases/latest/download/install.sh | bash
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Установка на Windows =
[[Файл:Результат установки Windows.png|мини|Результат установки Windows]]
Доступна быстрая установка с помощью готового скрипта.
Скрипт автоматически установит утилиту в C:/Program Files/NanoASR, создаст сервис, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.

Для быстрой установки необходимо выполнить данную команду в Powershell:<syntaxhighlight lang="powershell">
irm https://github.com/usunrise88/NanoASR/releases/latest/download/install.ps1 | iex
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Подключение к Платформе Эра =
Мастер домен -> Приложение "Настройки" -> Домен -> Параметры

Необходимо найти параметр '''record_asr_options.'''

Задать значение по следующему шаблону:<syntaxhighlight lang="json">
{
"servers": [
{
"headers": [
"Authorization: Bearer sk-nanoasr-*"
],
"uri": "http://[NanoASR_host]/asr_task?encode=true&task=transcribe&language=ru&output=json",
"uri_get_task_result": "http://[NanoASR_host]/asr_task/%TASK_ID%"
}
],
"thread_count": 5,
"type": "whisper",
"utc_hours": [
0,
0
]
}
</syntaxhighlight>Где:

* '''sk-nanoasr-*''' это ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
* '''[NanoASR_host]''' - адрес и порт установелнного сервиса NanoASR.

= Подключение к AI Softphone =
[[Файл:Настройка NanoASR в AI Softphone.png|центр|безрамки|932x932пкс]]
Настройки -> Расшифровка -> Распознаватели -> Добавить
{| class="wikitable"
|+Значения настроек для AI Softphone
!Настройка
!Значение
|-
|Название
|NanoASR (любое название)
|-
|Вид
|Совместимый с OpenAI (Whisper, OpenAI)
|-
|Адрес
|[http://example.com:8080/v1 http://'''<nowiki>[NanoASR_host]/</nowiki>'''v1] где '''[NanoASR_host]''' = адрес и порт установленного NanoASR
|-
|Ключ
|ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
|-
|Модель
|По умолчанию gigaam-v3-ctc-punct-ru
|-
|Включен
|Да
|}

= Конфигурационный файл nanoasr.yaml =

==== server — HTTP-сервер ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>addr</code>
|<code>:8080</code>
|Адрес прослушивания. <code>auth.mode: open</code> разрешён только если это loopback-интерфейс
|-
|<code>read_header_timeout</code>
|<code>10s</code>
|Таймаут чтения заголовков запроса
|-
|<code>max_upload_bytes</code>
|<code>1073741824</code>
|1 ГиБ. Подобрано под <code>max_duration</code>: 4 часа моно 16 кГц WAV ≈ 440 МБ
|-
|<code>shutdown_grace</code>
|<code>30s</code>
|Сколько ждать дорабатывающие задачи при остановке
|}

==== auth — доступ ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>mode</code>
|<code>apikey</code>
|<code>apikey</code> или <code>open</code>; <code>open</code> вне loopback — отказ при старте
|-
|<code>keys</code>
|<code>[]</code>
|В режиме <code>apikey</code> нужен хотя бы один, иначе сервер не стартует
|}
Поля ключа: <code>name</code> — имя; <code>key</code> — сам секрет или <code>sha256:<hex></code> (чтобы не хранить открытым); <code>admin: false</code> — право управлять моделями; <code>rps: 0</code> — без ограничения скорости; <code>priority: batch</code> — <code>interactive</code> пускает задачи этого ключа вперёд очереди.

==== api / ui ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>api.dialects</code>
|<code>[openai, native]</code>
|В поставляемом файле и после <code>init</code> — <code>[openai, native, era]</code>. <code>era</code> монтируется в корень, поэтому включается осознанно
|-
|<code>ui.enabled</code>
|<code>true</code>
|Встроенный веб-интерфейс для тестирования.
|-
|<code>ui.path</code>
|<code>/ui</code>
|Путь освобождён от авторизации, поэтому <code>/</code> и пересечение с API запрещены проверкой
|}

==== audio — приём и декодирование ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>ffmpeg_path</code>
|<code>ffmpeg</code>
|Пусто → только WAV/PCM, остальное отклоняется с 415
|-
|<code>ffmpeg_timeout</code>
|<code>120s</code>
|Предел на одно декодирование
|-
|<code>max_duration</code>
|<code>4h</code>
|Верхняя граница длительности файла; <code>0</code> — без ограничения
|-
|<code>target_sample_rate</code>
|<code>16000</code>
|Только 16000: все модели VAD и диаризации 16 кГц
|-
|<code>channel_mode</code>
|<code>downmix</code>
|<code>downmix</code><nowiki> | </nowiki><code>first</code><nowiki> | </nowiki><code>split</code>
|-
|<code>max_split_channels</code>
|<code>2</code>
|<code>split</code> декодирует все каналы целиком; 2 — пара телефонных плеч
|-
|<code>max_decoded_bytes</code>
|<code>0</code>
|→ <code>max_duration × rate × 4 × max_split_channels</code>
|}

==== vad — детектор речи ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>true</code>
|
|-
|<code>model</code>
|<code>silero-vad-v5</code>
|
|-
|<code>threshold</code>
|<code>0.5</code>
|Порог вероятности речи
|-
|<code>min_silence_ms</code>
|<code>300</code>
|Короче — не считается паузой
|-
|<code>min_speech_ms</code>
|<code>250</code>
|Короче — не считается речью
|-
|<code>max_speech_sec</code>
|<code>20</code>
|Без верхней границы монолог станет одним огромным сегментом
|}

==== asr — распознавание ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>models_dir</code>
|<code>/var/lib/nanoasr/models</code>
|
|-
|<code>default_model</code>
|<code>gigaam-v3-ctc-punct-ru</code>
|Русская пунктуация и регистр приходят из самой модели
|-
|<code>max_resident_models</code>
|<code>0</code>
|→ <code>clamp(max_model_rss_mb / 1500, 1..6)</code>
|-
|<code>max_model_rss_mb</code>
|<code>0</code>
|→ <code>clamp(RAM / 2, 1024..16384)</code>
|-
|<code>inference_slots</code>
|<code>0</code>
|→ число CPU (GOMAXPROCS)
|-
|<code>num_threads</code>
|<code>0</code>
|→ <code>clamp(CPU / 2, 1..8)</code>, на один экземпляр модели
|-
|<code>idle_ttl</code>
|<code>15m</code>
|Через сколько простоя модель выгружается из пула
|-
|<code>acquire_timeout</code>
|<code>30s</code>
|Ожидание свободного слота инференса
|-
|<code>batch.max_size</code>
|<code>8</code>
|Сегментов в батче
|-
|<code>batch.max_seconds</code>
|<code>60</code>
|Суммарная длительность батча
|-
|<code>variants.max</code>
|<code>0</code>
|Сколько дополнительных копий модели под пер-запросные настройки; <code>0</code> — настройки запроса игнорируются с предупреждением
|-
|<code>variants.allow_hotwords</code>
|<code>false</code>
|Требует <code>variants.max > 0</code>
|}

==== registry — реестр моделей ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>allow_download</code>
|<code>true</code>
|Скачивание весов по запросу
|-
|<code>catalog_url</code>
|<code>""</code>
|Пусто → встроенный каталог
|-
|<code>mirrors</code>
|<code>[]</code>
|Зеркала для загрузки
|-
|<code>download_concurrency</code>
|<code>2</code>
|Параллельных загрузок
|-
|<code>strict_license</code>
|<code>false</code>
|<code>true</code> → отказывать некоммерческим весам
|}

==== jobs — очередь ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>queue_size</code>
|<code>100</code>
|Мест в очереди
|-
|<code>max_concurrent</code>
|<code>0</code>
|→ <code>clamp(CPU / num_threads, 1..8)</code>; при <code>channel_mode: split</code> делится на число каналов
|-
|<code>max_queued_bytes</code>
|<code>4294967296</code>
|4 ГиБ аудио на диске; не меньше <code>max_upload_bytes</code>, превышение → 429 с Retry-After
|-
|<code>max_processing_time</code>
|<code>30m</code>
|Предел на одну задачу
|-
|<code>history_ttl</code>
|<code>720h</code>
|30 суток метаданных и транскриптов
|-
|<code>webhook_secret</code>
|<code>""</code>
|Подпись <code>X-NanoASR-Signature</code>; пусто → без подписи и предупреждение в лог
|-
|<code>webhook_allow_private</code>
|<code>false</code>
|Разрешает webhook на приватные адреса; само требует loopback
|}

==== postproc — постобработка ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>punctuation.enabled</code>
|<code>false</code>
|Нужно только моделям без пунктуации в словаре
|-
|<code>punctuation.model</code>
|<code>""</code>
|Модель из каталога вида punctuation
|-
|<code>itn.enabled</code>
|<code>false</code>
|Числа, даты, время, валюта, телефоны, проценты
|-
|<code>itn.locale</code>
|<code>ru</code>
|
|-
|<code>hotwords.enabled</code>
|<code>false</code>
|Требует <code>asr.variants.max > 0</code>
|-
|<code>hotwords.default_score</code>
|<code>1.5</code>
|Вес, когда клиент не указал свой
|}

==== diarization — разделение по говорящим ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>false</code>
|<code>nanoasr init</code> включает (если не <code>-no-diarize</code>)
|-
|<code>segmentation_model</code>
|<code>pyannote-segmentation-3</code>
|
|-
|<code>embedding_model</code>
|<code>campplus-sv-zh-en</code>
|Измерено: 2.9% DER при известном числе говорящих против 40.3% у voxceleb-модели
|-
|<code>clustering.num_clusters</code>
|<code>0</code>
|<code>0</code> → кластеризовать по порогу. Известное число говорящих сильнее любого порога
|-
|<code>clustering.threshold</code>
|<code>0.85</code>
|Выше — охотнее объединяет. У sherpa-onnx 0.5, что дробит диалог двоих на 36 «говорящих»
|-
|<code>min_duration_on</code>
|<code>0.3</code>
|Короче — реплика отбрасывается
|-
|<code>min_duration_off</code>
|<code>0.5</code>
|Короче — соседние реплики склеиваются
|}

==== storage / log ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>storage.db_path</code>
|/var/lib/nanoasr/nanoasr.db
|База задач
|-
|<code>storage.temp_dir</code>
|<code>""</code>
|→ <code><системный temp>/nanoasr-spool</code>. Аудио живёт здесь только до завершения задачи, настройки «хранить дольше» нет
|-
|<code>log.level</code>
|<code>info</code>
|<code>debug</code><nowiki> | </nowiki><code>info</code><nowiki> | </nowiki><code>warn</code><nowiki> | </nowiki><code>error</code>
|-
|<code>log.format</code>
|<code>json</code>
|<code>json</code><nowiki> | </nowiki><code>text</code>
|}

Установка сервиса распознавания речи NanoASR

2026-09-18T16:05:13Z

AZykov: /* Установка на Windows */

= Общая информация =
[https://github.com/usunrise88/NanoASR NanoASR - это утилита с открытым исходным кодом], позволяющая запускать модели машинного обучения для распознавания речи (транскрибации) и разделения спикеров (диаризации).

Данный проект позволяет запускать передовые модели для распознавания речи на серверах, не оборудованных графическими ускорителями.

=== Системные требования ===
Для установки требуется 4гб свободного дискового пространства.

Технически, утилита способна работать на минимальной конфигурации - 1 ядро CPU и 1гб ОЗУ. Единственное требование к CPU - поддержка AVX-инструкций. В таком случае, она сможет обрабатывать 1 параллельный запрос, со скоростью примерно 0.5 от реального времени (1 минуту записи обрабатывать за 2 минуты). Точная скорость зависит от параметров CPU.

Рекомендуемые параметры сервера:

* 4 ядра CPU, AVX-инструкции
* 4гб RAM
* 20гб SSD

В таком режиме, NanoASR может обрабатывать до 4 параллельных запросов со скоростью реального времени (минуту записи за минуту расчетов), либо 2 параллельных запроса со скоростью х2 (минуту записи за 30 секунд расчетов).

= Технические детали =
Утилита написана на языке Golang и представляет собой единый бинарный файл. В качестве среды исполнения моделей используется библиотека sherpa-onnx.

Утилита поддерживает различные архитектуры моделей, однако "из коробки" загружает следующий набор:
{| class="wikitable"
|+Модели NanoASR
!Модель
!Назначение
|-
|gigaam-v3-ctc-punct-ru
|Распознавание речи
|-
|silero-vad-v5
|Детектор голосовой активности
|-
|pyannote-segmentation-3
|Модель разделения спикеров
|-
|campplus-sv-zh-en
|Модель построения "слепков" голосов (голосовых эмбеддингов)
|}

= Установка на Linux =
[[Файл:Установка NanoASR Linux.png|мини|Результат установки на Linux]]
Доступна быстрая установка с помощью готового скрипта.

Скрипт автоматически установит утилиту в /opt/nanoasr, зарегистрирует в systemd, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.<syntaxhighlight lang="bash">
curl -fsSL https://github.com/usunrise88/NanoASR/releases/latest/download/install.sh | bash
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Установка на Windows =
[[Файл:Результат установки Windows.png|мини|Результат установки Windows]]
Доступна быстрая установка с помощью готового скрипта.
Скрипт автоматически установит утилиту в C:/Program Files/NanoASR, создаст сервис, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.

Для быстрой установки необходимо вызвать данную команду в Powershell:<syntaxhighlight lang="powershell">
irm https://github.com/usunrise88/NanoASR/releases/latest/download/install.ps1 | iex
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Подключение к Платформе Эра =
Мастер домен -> Приложение "Настройки" -> Домен -> Параметры

Необходимо найти параметр '''record_asr_options.'''

Задать значение по следующему шаблону:<syntaxhighlight lang="json">
{
"servers": [
{
"headers": [
"Authorization: Bearer sk-nanoasr-*"
],
"uri": "http://[NanoASR_host]/asr_task?encode=true&task=transcribe&language=ru&output=json",
"uri_get_task_result": "http://[NanoASR_host]/asr_task/%TASK_ID%"
}
],
"thread_count": 5,
"type": "whisper",
"utc_hours": [
0,
0
]
}
</syntaxhighlight>Где:

* '''sk-nanoasr-*''' это ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
* '''[NanoASR_host]''' - адрес и порт установелнного сервиса NanoASR.

= Подключение к AI Softphone =
[[Файл:Настройка NanoASR в AI Softphone.png|центр|безрамки|932x932пкс]]
Настройки -> Расшифровка -> Распознаватели -> Добавить
{| class="wikitable"
|+Значения настроек для AI Softphone
!Настройка
!Значение
|-
|Название
|NanoASR (любое название)
|-
|Вид
|Совместимый с OpenAI (Whisper, OpenAI)
|-
|Адрес
|[http://example.com:8080/v1 http://'''<nowiki>[NanoASR_host]/</nowiki>'''v1] где '''[NanoASR_host]''' = адрес и порт установленного NanoASR
|-
|Ключ
|ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
|-
|Модель
|По умолчанию gigaam-v3-ctc-punct-ru
|-
|Включен
|Да
|}

= Конфигурационный файл nanoasr.yaml =

==== server — HTTP-сервер ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>addr</code>
|<code>:8080</code>
|Адрес прослушивания. <code>auth.mode: open</code> разрешён только если это loopback-интерфейс
|-
|<code>read_header_timeout</code>
|<code>10s</code>
|Таймаут чтения заголовков запроса
|-
|<code>max_upload_bytes</code>
|<code>1073741824</code>
|1 ГиБ. Подобрано под <code>max_duration</code>: 4 часа моно 16 кГц WAV ≈ 440 МБ
|-
|<code>shutdown_grace</code>
|<code>30s</code>
|Сколько ждать дорабатывающие задачи при остановке
|}

==== auth — доступ ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>mode</code>
|<code>apikey</code>
|<code>apikey</code> или <code>open</code>; <code>open</code> вне loopback — отказ при старте
|-
|<code>keys</code>
|<code>[]</code>
|В режиме <code>apikey</code> нужен хотя бы один, иначе сервер не стартует
|}
Поля ключа: <code>name</code> — имя; <code>key</code> — сам секрет или <code>sha256:<hex></code> (чтобы не хранить открытым); <code>admin: false</code> — право управлять моделями; <code>rps: 0</code> — без ограничения скорости; <code>priority: batch</code> — <code>interactive</code> пускает задачи этого ключа вперёд очереди.

==== api / ui ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>api.dialects</code>
|<code>[openai, native]</code>
|В поставляемом файле и после <code>init</code> — <code>[openai, native, era]</code>. <code>era</code> монтируется в корень, поэтому включается осознанно
|-
|<code>ui.enabled</code>
|<code>true</code>
|Встроенный веб-интерфейс для тестирования.
|-
|<code>ui.path</code>
|<code>/ui</code>
|Путь освобождён от авторизации, поэтому <code>/</code> и пересечение с API запрещены проверкой
|}

==== audio — приём и декодирование ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>ffmpeg_path</code>
|<code>ffmpeg</code>
|Пусто → только WAV/PCM, остальное отклоняется с 415
|-
|<code>ffmpeg_timeout</code>
|<code>120s</code>
|Предел на одно декодирование
|-
|<code>max_duration</code>
|<code>4h</code>
|Верхняя граница длительности файла; <code>0</code> — без ограничения
|-
|<code>target_sample_rate</code>
|<code>16000</code>
|Только 16000: все модели VAD и диаризации 16 кГц
|-
|<code>channel_mode</code>
|<code>downmix</code>
|<code>downmix</code><nowiki> | </nowiki><code>first</code><nowiki> | </nowiki><code>split</code>
|-
|<code>max_split_channels</code>
|<code>2</code>
|<code>split</code> декодирует все каналы целиком; 2 — пара телефонных плеч
|-
|<code>max_decoded_bytes</code>
|<code>0</code>
|→ <code>max_duration × rate × 4 × max_split_channels</code>
|}

==== vad — детектор речи ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>true</code>
|
|-
|<code>model</code>
|<code>silero-vad-v5</code>
|
|-
|<code>threshold</code>
|<code>0.5</code>
|Порог вероятности речи
|-
|<code>min_silence_ms</code>
|<code>300</code>
|Короче — не считается паузой
|-
|<code>min_speech_ms</code>
|<code>250</code>
|Короче — не считается речью
|-
|<code>max_speech_sec</code>
|<code>20</code>
|Без верхней границы монолог станет одним огромным сегментом
|}

==== asr — распознавание ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>models_dir</code>
|<code>/var/lib/nanoasr/models</code>
|
|-
|<code>default_model</code>
|<code>gigaam-v3-ctc-punct-ru</code>
|Русская пунктуация и регистр приходят из самой модели
|-
|<code>max_resident_models</code>
|<code>0</code>
|→ <code>clamp(max_model_rss_mb / 1500, 1..6)</code>
|-
|<code>max_model_rss_mb</code>
|<code>0</code>
|→ <code>clamp(RAM / 2, 1024..16384)</code>
|-
|<code>inference_slots</code>
|<code>0</code>
|→ число CPU (GOMAXPROCS)
|-
|<code>num_threads</code>
|<code>0</code>
|→ <code>clamp(CPU / 2, 1..8)</code>, на один экземпляр модели
|-
|<code>idle_ttl</code>
|<code>15m</code>
|Через сколько простоя модель выгружается из пула
|-
|<code>acquire_timeout</code>
|<code>30s</code>
|Ожидание свободного слота инференса
|-
|<code>batch.max_size</code>
|<code>8</code>
|Сегментов в батче
|-
|<code>batch.max_seconds</code>
|<code>60</code>
|Суммарная длительность батча
|-
|<code>variants.max</code>
|<code>0</code>
|Сколько дополнительных копий модели под пер-запросные настройки; <code>0</code> — настройки запроса игнорируются с предупреждением
|-
|<code>variants.allow_hotwords</code>
|<code>false</code>
|Требует <code>variants.max > 0</code>
|}

==== registry — реестр моделей ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>allow_download</code>
|<code>true</code>
|Скачивание весов по запросу
|-
|<code>catalog_url</code>
|<code>""</code>
|Пусто → встроенный каталог
|-
|<code>mirrors</code>
|<code>[]</code>
|Зеркала для загрузки
|-
|<code>download_concurrency</code>
|<code>2</code>
|Параллельных загрузок
|-
|<code>strict_license</code>
|<code>false</code>
|<code>true</code> → отказывать некоммерческим весам
|}

==== jobs — очередь ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>queue_size</code>
|<code>100</code>
|Мест в очереди
|-
|<code>max_concurrent</code>
|<code>0</code>
|→ <code>clamp(CPU / num_threads, 1..8)</code>; при <code>channel_mode: split</code> делится на число каналов
|-
|<code>max_queued_bytes</code>
|<code>4294967296</code>
|4 ГиБ аудио на диске; не меньше <code>max_upload_bytes</code>, превышение → 429 с Retry-After
|-
|<code>max_processing_time</code>
|<code>30m</code>
|Предел на одну задачу
|-
|<code>history_ttl</code>
|<code>720h</code>
|30 суток метаданных и транскриптов
|-
|<code>webhook_secret</code>
|<code>""</code>
|Подпись <code>X-NanoASR-Signature</code>; пусто → без подписи и предупреждение в лог
|-
|<code>webhook_allow_private</code>
|<code>false</code>
|Разрешает webhook на приватные адреса; само требует loopback
|}

==== postproc — постобработка ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>punctuation.enabled</code>
|<code>false</code>
|Нужно только моделям без пунктуации в словаре
|-
|<code>punctuation.model</code>
|<code>""</code>
|Модель из каталога вида punctuation
|-
|<code>itn.enabled</code>
|<code>false</code>
|Числа, даты, время, валюта, телефоны, проценты
|-
|<code>itn.locale</code>
|<code>ru</code>
|
|-
|<code>hotwords.enabled</code>
|<code>false</code>
|Требует <code>asr.variants.max > 0</code>
|-
|<code>hotwords.default_score</code>
|<code>1.5</code>
|Вес, когда клиент не указал свой
|}

==== diarization — разделение по говорящим ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>false</code>
|<code>nanoasr init</code> включает (если не <code>-no-diarize</code>)
|-
|<code>segmentation_model</code>
|<code>pyannote-segmentation-3</code>
|
|-
|<code>embedding_model</code>
|<code>campplus-sv-zh-en</code>
|Измерено: 2.9% DER при известном числе говорящих против 40.3% у voxceleb-модели
|-
|<code>clustering.num_clusters</code>
|<code>0</code>
|<code>0</code> → кластеризовать по порогу. Известное число говорящих сильнее любого порога
|-
|<code>clustering.threshold</code>
|<code>0.85</code>
|Выше — охотнее объединяет. У sherpa-onnx 0.5, что дробит диалог двоих на 36 «говорящих»
|-
|<code>min_duration_on</code>
|<code>0.3</code>
|Короче — реплика отбрасывается
|-
|<code>min_duration_off</code>
|<code>0.5</code>
|Короче — соседние реплики склеиваются
|}

==== storage / log ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>storage.db_path</code>
|/var/lib/nanoasr/nanoasr.db
|База задач
|-
|<code>storage.temp_dir</code>
|<code>""</code>
|→ <code><системный temp>/nanoasr-spool</code>. Аудио живёт здесь только до завершения задачи, настройки «хранить дольше» нет
|-
|<code>log.level</code>
|<code>info</code>
|<code>debug</code><nowiki> | </nowiki><code>info</code><nowiki> | </nowiki><code>warn</code><nowiki> | </nowiki><code>error</code>
|-
|<code>log.format</code>
|<code>json</code>
|<code>json</code><nowiki> | </nowiki><code>text</code>
|}

Установка сервиса распознавания речи NanoASR

2026-09-18T16:04:13Z

AZykov: /* Общая информация */

= Общая информация =
[https://github.com/usunrise88/NanoASR NanoASR - это утилита с открытым исходным кодом], позволяющая запускать модели машинного обучения для распознавания речи (транскрибации) и разделения спикеров (диаризации).

Данный проект позволяет запускать передовые модели для распознавания речи на серверах, не оборудованных графическими ускорителями.

=== Системные требования ===
Для установки требуется 4гб свободного дискового пространства.

Технически, утилита способна работать на минимальной конфигурации - 1 ядро CPU и 1гб ОЗУ. Единственное требование к CPU - поддержка AVX-инструкций. В таком случае, она сможет обрабатывать 1 параллельный запрос, со скоростью примерно 0.5 от реального времени (1 минуту записи обрабатывать за 2 минуты). Точная скорость зависит от параметров CPU.

Рекомендуемые параметры сервера:

* 4 ядра CPU, AVX-инструкции
* 4гб RAM
* 20гб SSD

В таком режиме, NanoASR может обрабатывать до 4 параллельных запросов со скоростью реального времени (минуту записи за минуту расчетов), либо 2 параллельных запроса со скоростью х2 (минуту записи за 30 секунд расчетов).

= Технические детали =
Утилита написана на языке Golang и представляет собой единый бинарный файл. В качестве среды исполнения моделей используется библиотека sherpa-onnx.

Утилита поддерживает различные архитектуры моделей, однако "из коробки" загружает следующий набор:
{| class="wikitable"
|+Модели NanoASR
!Модель
!Назначение
|-
|gigaam-v3-ctc-punct-ru
|Распознавание речи
|-
|silero-vad-v5
|Детектор голосовой активности
|-
|pyannote-segmentation-3
|Модель разделения спикеров
|-
|campplus-sv-zh-en
|Модель построения "слепков" голосов (голосовых эмбеддингов)
|}

= Установка на Linux =
[[Файл:Установка NanoASR Linux.png|мини|Результат установки на Linux]]
Доступна быстрая установка с помощью готового скрипта.

Скрипт автоматически установит утилиту в /opt/nanoasr, зарегистрирует в systemd, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.<syntaxhighlight lang="bash">
curl -fsSL https://github.com/usunrise88/NanoASR/releases/latest/download/install.sh | bash
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Установка на Windows =
[[Файл:Результат установки Windows.png|мини|Результат установки Windows]]
Доступна быстрая установка с помощью готового скрипта.
Скрипт автоматически установит утилиту в C:/Program Files/NanoASR, создаст сервис, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.

Для быстрой установки необходимо вызвать данную команду в Powershell:<syntaxhighlight lang="powershell">
irm https://github.com/usunrise88/NanoASR/releases/latest/download/install.ps1 | iex
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Подключение к Платформе Эра =
Мастер домен -> Приложение "Настройки" -> Домен -> Параметры

Необходимо найти параметр '''record_asr_options.'''

Задать значение по следующему шаблону:<syntaxhighlight lang="json">
{
"servers": [
{
"headers": [
"Authorization: Bearer sk-nanoasr-*"
],
"uri": "http://[NanoASR_host]/asr_task?encode=true&task=transcribe&language=ru&output=json",
"uri_get_task_result": "http://[NanoASR_host]/asr_task/%TASK_ID%"
}
],
"thread_count": 5,
"type": "whisper",
"utc_hours": [
0,
0
]
}
</syntaxhighlight>Где:

* '''sk-nanoasr-*''' это ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
* '''[NanoASR_host]''' - адрес и порт установелнного сервиса NanoASR.

= Подключение к AI Softphone =
[[Файл:Настройка NanoASR в AI Softphone.png|центр|безрамки|932x932пкс]]
Настройки -> Расшифровка -> Распознаватели -> Добавить
{| class="wikitable"
|+Значения настроек для AI Softphone
!Настройка
!Значение
|-
|Название
|NanoASR (любое название)
|-
|Вид
|Совместимый с OpenAI (Whisper, OpenAI)
|-
|Адрес
|[http://example.com:8080/v1 http://'''<nowiki>[NanoASR_host]/</nowiki>'''v1] где '''[NanoASR_host]''' = адрес и порт установленного NanoASR
|-
|Ключ
|ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
|-
|Модель
|По умолчанию gigaam-v3-ctc-punct-ru
|-
|Включен
|Да
|}

= Конфигурационный файл nanoasr.yaml =

==== server — HTTP-сервер ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>addr</code>
|<code>:8080</code>
|Адрес прослушивания. <code>auth.mode: open</code> разрешён только если это loopback-интерфейс
|-
|<code>read_header_timeout</code>
|<code>10s</code>
|Таймаут чтения заголовков запроса
|-
|<code>max_upload_bytes</code>
|<code>1073741824</code>
|1 ГиБ. Подобрано под <code>max_duration</code>: 4 часа моно 16 кГц WAV ≈ 440 МБ
|-
|<code>shutdown_grace</code>
|<code>30s</code>
|Сколько ждать дорабатывающие задачи при остановке
|}

==== auth — доступ ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>mode</code>
|<code>apikey</code>
|<code>apikey</code> или <code>open</code>; <code>open</code> вне loopback — отказ при старте
|-
|<code>keys</code>
|<code>[]</code>
|В режиме <code>apikey</code> нужен хотя бы один, иначе сервер не стартует
|}
Поля ключа: <code>name</code> — имя; <code>key</code> — сам секрет или <code>sha256:<hex></code> (чтобы не хранить открытым); <code>admin: false</code> — право управлять моделями; <code>rps: 0</code> — без ограничения скорости; <code>priority: batch</code> — <code>interactive</code> пускает задачи этого ключа вперёд очереди.

==== api / ui ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>api.dialects</code>
|<code>[openai, native]</code>
|В поставляемом файле и после <code>init</code> — <code>[openai, native, era]</code>. <code>era</code> монтируется в корень, поэтому включается осознанно
|-
|<code>ui.enabled</code>
|<code>true</code>
|Встроенный веб-интерфейс для тестирования.
|-
|<code>ui.path</code>
|<code>/ui</code>
|Путь освобождён от авторизации, поэтому <code>/</code> и пересечение с API запрещены проверкой
|}

==== audio — приём и декодирование ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>ffmpeg_path</code>
|<code>ffmpeg</code>
|Пусто → только WAV/PCM, остальное отклоняется с 415
|-
|<code>ffmpeg_timeout</code>
|<code>120s</code>
|Предел на одно декодирование
|-
|<code>max_duration</code>
|<code>4h</code>
|Верхняя граница длительности файла; <code>0</code> — без ограничения
|-
|<code>target_sample_rate</code>
|<code>16000</code>
|Только 16000: все модели VAD и диаризации 16 кГц
|-
|<code>channel_mode</code>
|<code>downmix</code>
|<code>downmix</code><nowiki> | </nowiki><code>first</code><nowiki> | </nowiki><code>split</code>
|-
|<code>max_split_channels</code>
|<code>2</code>
|<code>split</code> декодирует все каналы целиком; 2 — пара телефонных плеч
|-
|<code>max_decoded_bytes</code>
|<code>0</code>
|→ <code>max_duration × rate × 4 × max_split_channels</code>
|}

==== vad — детектор речи ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>true</code>
|
|-
|<code>model</code>
|<code>silero-vad-v5</code>
|
|-
|<code>threshold</code>
|<code>0.5</code>
|Порог вероятности речи
|-
|<code>min_silence_ms</code>
|<code>300</code>
|Короче — не считается паузой
|-
|<code>min_speech_ms</code>
|<code>250</code>
|Короче — не считается речью
|-
|<code>max_speech_sec</code>
|<code>20</code>
|Без верхней границы монолог станет одним огромным сегментом
|}

==== asr — распознавание ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>models_dir</code>
|<code>/var/lib/nanoasr/models</code>
|
|-
|<code>default_model</code>
|<code>gigaam-v3-ctc-punct-ru</code>
|Русская пунктуация и регистр приходят из самой модели
|-
|<code>max_resident_models</code>
|<code>0</code>
|→ <code>clamp(max_model_rss_mb / 1500, 1..6)</code>
|-
|<code>max_model_rss_mb</code>
|<code>0</code>
|→ <code>clamp(RAM / 2, 1024..16384)</code>
|-
|<code>inference_slots</code>
|<code>0</code>
|→ число CPU (GOMAXPROCS)
|-
|<code>num_threads</code>
|<code>0</code>
|→ <code>clamp(CPU / 2, 1..8)</code>, на один экземпляр модели
|-
|<code>idle_ttl</code>
|<code>15m</code>
|Через сколько простоя модель выгружается из пула
|-
|<code>acquire_timeout</code>
|<code>30s</code>
|Ожидание свободного слота инференса
|-
|<code>batch.max_size</code>
|<code>8</code>
|Сегментов в батче
|-
|<code>batch.max_seconds</code>
|<code>60</code>
|Суммарная длительность батча
|-
|<code>variants.max</code>
|<code>0</code>
|Сколько дополнительных копий модели под пер-запросные настройки; <code>0</code> — настройки запроса игнорируются с предупреждением
|-
|<code>variants.allow_hotwords</code>
|<code>false</code>
|Требует <code>variants.max > 0</code>
|}

==== registry — реестр моделей ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>allow_download</code>
|<code>true</code>
|Скачивание весов по запросу
|-
|<code>catalog_url</code>
|<code>""</code>
|Пусто → встроенный каталог
|-
|<code>mirrors</code>
|<code>[]</code>
|Зеркала для загрузки
|-
|<code>download_concurrency</code>
|<code>2</code>
|Параллельных загрузок
|-
|<code>strict_license</code>
|<code>false</code>
|<code>true</code> → отказывать некоммерческим весам
|}

==== jobs — очередь ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>queue_size</code>
|<code>100</code>
|Мест в очереди
|-
|<code>max_concurrent</code>
|<code>0</code>
|→ <code>clamp(CPU / num_threads, 1..8)</code>; при <code>channel_mode: split</code> делится на число каналов
|-
|<code>max_queued_bytes</code>
|<code>4294967296</code>
|4 ГиБ аудио на диске; не меньше <code>max_upload_bytes</code>, превышение → 429 с Retry-After
|-
|<code>max_processing_time</code>
|<code>30m</code>
|Предел на одну задачу
|-
|<code>history_ttl</code>
|<code>720h</code>
|30 суток метаданных и транскриптов
|-
|<code>webhook_secret</code>
|<code>""</code>
|Подпись <code>X-NanoASR-Signature</code>; пусто → без подписи и предупреждение в лог
|-
|<code>webhook_allow_private</code>
|<code>false</code>
|Разрешает webhook на приватные адреса; само требует loopback
|}

==== postproc — постобработка ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>punctuation.enabled</code>
|<code>false</code>
|Нужно только моделям без пунктуации в словаре
|-
|<code>punctuation.model</code>
|<code>""</code>
|Модель из каталога вида punctuation
|-
|<code>itn.enabled</code>
|<code>false</code>
|Числа, даты, время, валюта, телефоны, проценты
|-
|<code>itn.locale</code>
|<code>ru</code>
|
|-
|<code>hotwords.enabled</code>
|<code>false</code>
|Требует <code>asr.variants.max > 0</code>
|-
|<code>hotwords.default_score</code>
|<code>1.5</code>
|Вес, когда клиент не указал свой
|}

==== diarization — разделение по говорящим ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>false</code>
|<code>nanoasr init</code> включает (если не <code>-no-diarize</code>)
|-
|<code>segmentation_model</code>
|<code>pyannote-segmentation-3</code>
|
|-
|<code>embedding_model</code>
|<code>campplus-sv-zh-en</code>
|Измерено: 2.9% DER при известном числе говорящих против 40.3% у voxceleb-модели
|-
|<code>clustering.num_clusters</code>
|<code>0</code>
|<code>0</code> → кластеризовать по порогу. Известное число говорящих сильнее любого порога
|-
|<code>clustering.threshold</code>
|<code>0.85</code>
|Выше — охотнее объединяет. У sherpa-onnx 0.5, что дробит диалог двоих на 36 «говорящих»
|-
|<code>min_duration_on</code>
|<code>0.3</code>
|Короче — реплика отбрасывается
|-
|<code>min_duration_off</code>
|<code>0.5</code>
|Короче — соседние реплики склеиваются
|}

==== storage / log ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>storage.db_path</code>
|/var/lib/nanoasr/nanoasr.db
|База задач
|-
|<code>storage.temp_dir</code>
|<code>""</code>
|→ <code><системный temp>/nanoasr-spool</code>. Аудио живёт здесь только до завершения задачи, настройки «хранить дольше» нет
|-
|<code>log.level</code>
|<code>info</code>
|<code>debug</code><nowiki> | </nowiki><code>info</code><nowiki> | </nowiki><code>warn</code><nowiki> | </nowiki><code>error</code>
|-
|<code>log.format</code>
|<code>json</code>
|<code>json</code><nowiki> | </nowiki><code>text</code>
|}

Установка сервиса распознавания речи NanoASR

2026-09-18T15:55:49Z

AZykov: /* Системные требования */

= Общая информация =
[https://github.com/usunrise88/NanoASR NanoASR - это утилита с открытым исходным кодом], позволяющая запускать модели машинного обучения для распознавания речи (транскрибации) и разделения спикеров (диаризации).

Данный проект позволяет запускать передовые модели для распознавания речи на серверах, не оборудованных графическими ускорителями.

=== Системные требования ===
Для установки требуется 4гб свободного дискового пространства.

Технически, утилита способна работать на минимальной конфигурации - 1 ядро CPU и 1гб ОЗУ. Единственное требование к CPU - поддержка AVX-инструкций. В таком случае, она сможет обрабатывать 1 параллельный запрос, со скоростью примерно 0.5 от реального времени (1 минуту записи обрабатывать за 2 минуты). Точная скорость зависит от параметров CPU.

Рекомендуемые параметры сервера:

* 4 ядра CPU, AVX-инструкции
* 4гб RAM
* 20гб SSD

В таком режиме, NanoASR может обрабатывать до 4 параллельных запросов со скоростью реального времени (минуту записи за минуту расчетов), либо 2 параллельных запроса со скоростью х2 (минуту записи за 30 секунд расчетов).

= Технические детали =
Утилита написана на языке Golang и представляет собой единый бинарный файл. В качестве среды исполнения моделей используется библиотека sherpa-onnx.

Утилита поддерживает различные архитектуры моделей, однако "из коробки" загружает следующий набор:
{| class="wikitable"
|+Модели NanoASR
!Модель
!Назначение
|-
|gigaam-v3-rnnt-punct-ru
|Распознавание речи
|-
|silero-vad-v5
|Детектор голосовой активности
|-
|pyannote-segmentation-3
|Модель разделения спикеров
|-
|campplus-sv-zh-en
|Модель построения "слепков" голосов (голосовых эмбеддингов)
|}

= Установка на Linux =
[[Файл:Установка NanoASR Linux.png|мини|Результат установки на Linux]]
Доступна быстрая установка с помощью готового скрипта.

Скрипт автоматически установит утилиту в /opt/nanoasr, зарегистрирует в systemd, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.<syntaxhighlight lang="bash">
curl -fsSL https://github.com/usunrise88/NanoASR/releases/latest/download/install.sh | bash
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Установка на Windows =
[[Файл:Результат установки Windows.png|мини|Результат установки Windows]]
Доступна быстрая установка с помощью готового скрипта.
Скрипт автоматически установит утилиту в C:/Program Files/NanoASR, создаст сервис, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.

Для быстрой установки необходимо вызвать данную команду в Powershell:<syntaxhighlight lang="powershell">
irm https://github.com/usunrise88/NanoASR/releases/latest/download/install.ps1 | iex
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Подключение к Платформе Эра =
Мастер домен -> Приложение "Настройки" -> Домен -> Параметры

Необходимо найти параметр '''record_asr_options.'''

Задать значение по следующему шаблону:<syntaxhighlight lang="json">
{
"servers": [
{
"headers": [
"Authorization: Bearer sk-nanoasr-*"
],
"uri": "http://[NanoASR_host]/asr_task?encode=true&task=transcribe&language=ru&output=json",
"uri_get_task_result": "http://[NanoASR_host]/asr_task/%TASK_ID%"
}
],
"thread_count": 5,
"type": "whisper",
"utc_hours": [
0,
0
]
}
</syntaxhighlight>Где:

* '''sk-nanoasr-*''' это ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
* '''[NanoASR_host]''' - адрес и порт установелнного сервиса NanoASR.

= Подключение к AI Softphone =
[[Файл:Настройка NanoASR в AI Softphone.png|центр|безрамки|932x932пкс]]
Настройки -> Расшифровка -> Распознаватели -> Добавить
{| class="wikitable"
|+Значения настроек для AI Softphone
!Настройка
!Значение
|-
|Название
|NanoASR (любое название)
|-
|Вид
|Совместимый с OpenAI (Whisper, OpenAI)
|-
|Адрес
|[http://example.com:8080/v1 http://'''<nowiki>[NanoASR_host]/</nowiki>'''v1] где '''[NanoASR_host]''' = адрес и порт установленного NanoASR
|-
|Ключ
|ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
|-
|Модель
|По умолчанию gigaam-v3-ctc-punct-ru
|-
|Включен
|Да
|}

= Конфигурационный файл nanoasr.yaml =

==== server — HTTP-сервер ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>addr</code>
|<code>:8080</code>
|Адрес прослушивания. <code>auth.mode: open</code> разрешён только если это loopback-интерфейс
|-
|<code>read_header_timeout</code>
|<code>10s</code>
|Таймаут чтения заголовков запроса
|-
|<code>max_upload_bytes</code>
|<code>1073741824</code>
|1 ГиБ. Подобрано под <code>max_duration</code>: 4 часа моно 16 кГц WAV ≈ 440 МБ
|-
|<code>shutdown_grace</code>
|<code>30s</code>
|Сколько ждать дорабатывающие задачи при остановке
|}

==== auth — доступ ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>mode</code>
|<code>apikey</code>
|<code>apikey</code> или <code>open</code>; <code>open</code> вне loopback — отказ при старте
|-
|<code>keys</code>
|<code>[]</code>
|В режиме <code>apikey</code> нужен хотя бы один, иначе сервер не стартует
|}
Поля ключа: <code>name</code> — имя; <code>key</code> — сам секрет или <code>sha256:<hex></code> (чтобы не хранить открытым); <code>admin: false</code> — право управлять моделями; <code>rps: 0</code> — без ограничения скорости; <code>priority: batch</code> — <code>interactive</code> пускает задачи этого ключа вперёд очереди.

==== api / ui ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>api.dialects</code>
|<code>[openai, native]</code>
|В поставляемом файле и после <code>init</code> — <code>[openai, native, era]</code>. <code>era</code> монтируется в корень, поэтому включается осознанно
|-
|<code>ui.enabled</code>
|<code>true</code>
|Встроенный веб-интерфейс для тестирования.
|-
|<code>ui.path</code>
|<code>/ui</code>
|Путь освобождён от авторизации, поэтому <code>/</code> и пересечение с API запрещены проверкой
|}

==== audio — приём и декодирование ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>ffmpeg_path</code>
|<code>ffmpeg</code>
|Пусто → только WAV/PCM, остальное отклоняется с 415
|-
|<code>ffmpeg_timeout</code>
|<code>120s</code>
|Предел на одно декодирование
|-
|<code>max_duration</code>
|<code>4h</code>
|Верхняя граница длительности файла; <code>0</code> — без ограничения
|-
|<code>target_sample_rate</code>
|<code>16000</code>
|Только 16000: все модели VAD и диаризации 16 кГц
|-
|<code>channel_mode</code>
|<code>downmix</code>
|<code>downmix</code><nowiki> | </nowiki><code>first</code><nowiki> | </nowiki><code>split</code>
|-
|<code>max_split_channels</code>
|<code>2</code>
|<code>split</code> декодирует все каналы целиком; 2 — пара телефонных плеч
|-
|<code>max_decoded_bytes</code>
|<code>0</code>
|→ <code>max_duration × rate × 4 × max_split_channels</code>
|}

==== vad — детектор речи ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>true</code>
|
|-
|<code>model</code>
|<code>silero-vad-v5</code>
|
|-
|<code>threshold</code>
|<code>0.5</code>
|Порог вероятности речи
|-
|<code>min_silence_ms</code>
|<code>300</code>
|Короче — не считается паузой
|-
|<code>min_speech_ms</code>
|<code>250</code>
|Короче — не считается речью
|-
|<code>max_speech_sec</code>
|<code>20</code>
|Без верхней границы монолог станет одним огромным сегментом
|}

==== asr — распознавание ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>models_dir</code>
|<code>/var/lib/nanoasr/models</code>
|
|-
|<code>default_model</code>
|<code>gigaam-v3-ctc-punct-ru</code>
|Русская пунктуация и регистр приходят из самой модели
|-
|<code>max_resident_models</code>
|<code>0</code>
|→ <code>clamp(max_model_rss_mb / 1500, 1..6)</code>
|-
|<code>max_model_rss_mb</code>
|<code>0</code>
|→ <code>clamp(RAM / 2, 1024..16384)</code>
|-
|<code>inference_slots</code>
|<code>0</code>
|→ число CPU (GOMAXPROCS)
|-
|<code>num_threads</code>
|<code>0</code>
|→ <code>clamp(CPU / 2, 1..8)</code>, на один экземпляр модели
|-
|<code>idle_ttl</code>
|<code>15m</code>
|Через сколько простоя модель выгружается из пула
|-
|<code>acquire_timeout</code>
|<code>30s</code>
|Ожидание свободного слота инференса
|-
|<code>batch.max_size</code>
|<code>8</code>
|Сегментов в батче
|-
|<code>batch.max_seconds</code>
|<code>60</code>
|Суммарная длительность батча
|-
|<code>variants.max</code>
|<code>0</code>
|Сколько дополнительных копий модели под пер-запросные настройки; <code>0</code> — настройки запроса игнорируются с предупреждением
|-
|<code>variants.allow_hotwords</code>
|<code>false</code>
|Требует <code>variants.max > 0</code>
|}

==== registry — реестр моделей ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>allow_download</code>
|<code>true</code>
|Скачивание весов по запросу
|-
|<code>catalog_url</code>
|<code>""</code>
|Пусто → встроенный каталог
|-
|<code>mirrors</code>
|<code>[]</code>
|Зеркала для загрузки
|-
|<code>download_concurrency</code>
|<code>2</code>
|Параллельных загрузок
|-
|<code>strict_license</code>
|<code>false</code>
|<code>true</code> → отказывать некоммерческим весам
|}

==== jobs — очередь ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>queue_size</code>
|<code>100</code>
|Мест в очереди
|-
|<code>max_concurrent</code>
|<code>0</code>
|→ <code>clamp(CPU / num_threads, 1..8)</code>; при <code>channel_mode: split</code> делится на число каналов
|-
|<code>max_queued_bytes</code>
|<code>4294967296</code>
|4 ГиБ аудио на диске; не меньше <code>max_upload_bytes</code>, превышение → 429 с Retry-After
|-
|<code>max_processing_time</code>
|<code>30m</code>
|Предел на одну задачу
|-
|<code>history_ttl</code>
|<code>720h</code>
|30 суток метаданных и транскриптов
|-
|<code>webhook_secret</code>
|<code>""</code>
|Подпись <code>X-NanoASR-Signature</code>; пусто → без подписи и предупреждение в лог
|-
|<code>webhook_allow_private</code>
|<code>false</code>
|Разрешает webhook на приватные адреса; само требует loopback
|}

==== postproc — постобработка ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>punctuation.enabled</code>
|<code>false</code>
|Нужно только моделям без пунктуации в словаре
|-
|<code>punctuation.model</code>
|<code>""</code>
|Модель из каталога вида punctuation
|-
|<code>itn.enabled</code>
|<code>false</code>
|Числа, даты, время, валюта, телефоны, проценты
|-
|<code>itn.locale</code>
|<code>ru</code>
|
|-
|<code>hotwords.enabled</code>
|<code>false</code>
|Требует <code>asr.variants.max > 0</code>
|-
|<code>hotwords.default_score</code>
|<code>1.5</code>
|Вес, когда клиент не указал свой
|}

==== diarization — разделение по говорящим ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>false</code>
|<code>nanoasr init</code> включает (если не <code>-no-diarize</code>)
|-
|<code>segmentation_model</code>
|<code>pyannote-segmentation-3</code>
|
|-
|<code>embedding_model</code>
|<code>campplus-sv-zh-en</code>
|Измерено: 2.9% DER при известном числе говорящих против 40.3% у voxceleb-модели
|-
|<code>clustering.num_clusters</code>
|<code>0</code>
|<code>0</code> → кластеризовать по порогу. Известное число говорящих сильнее любого порога
|-
|<code>clustering.threshold</code>
|<code>0.85</code>
|Выше — охотнее объединяет. У sherpa-onnx 0.5, что дробит диалог двоих на 36 «говорящих»
|-
|<code>min_duration_on</code>
|<code>0.3</code>
|Короче — реплика отбрасывается
|-
|<code>min_duration_off</code>
|<code>0.5</code>
|Короче — соседние реплики склеиваются
|}

==== storage / log ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>storage.db_path</code>
|/var/lib/nanoasr/nanoasr.db
|База задач
|-
|<code>storage.temp_dir</code>
|<code>""</code>
|→ <code><системный temp>/nanoasr-spool</code>. Аудио живёт здесь только до завершения задачи, настройки «хранить дольше» нет
|-
|<code>log.level</code>
|<code>info</code>
|<code>debug</code><nowiki> | </nowiki><code>info</code><nowiki> | </nowiki><code>warn</code><nowiki> | </nowiki><code>error</code>
|-
|<code>log.format</code>
|<code>json</code>
|<code>json</code><nowiki> | </nowiki><code>text</code>
|}

Заглавная страница

2026-09-18T15:52:33Z

AZykov: /* Навигация по разделам: */

[[Файл:Era wiki logo2.png|безрамки|619x619пкс]]

==== Добро пожаловать на ресурс с документацией по платформе Эра. ====
На этом сайте вы найдете подробную информацию для работы с системой: техническую и пользовательскую документацию, обучающие материалы, разборы кейсов и часто задаваемых вопросов. Также представлено общее описание платформы и доступных приложений.

Мы стремимся обеспечить максимально комфортное и продуктивное использование платформы. Если у вас возникнут вопросы или потребуется поддержка, пожалуйста, обращайтесь к нашим специалистам и партнерам.

==== Структура: ====
'''Концепция и технологии''' - теоретический раздел необходимый для понимая принципов построения платформы.

'''Курсы / Быстрый старт''' - раздел для пошагового изучения платформы от простого к сложному. Мы рекомендуем использовать собственный экземпляр платформы Эра для прохождения курсов.

'''Практика / Кейсы''' - раздел для инженеров, уже прошедших курсы. Настройка конкретных кейсов и практические задачи.

'''Приложения''' - руководства пользователя для функциональных заказчиков по использованию прикладных приложений.

==== Навигация по разделам: ====
{| class="wikitable" style="size:18px!important; "
|+
![[:Категория:Концепция и технологии|Концепция / технологии]]
![[:Категория:Администрирование|Администрирование / DevOps]]
![[:Категория:Курсы|Курсы / Быстрый старт]]
![[:Категория:Практика|Практика / Кейсы]]
![[:Категория:Приложения|Приложения]]
|- style="vertical-align:top;"
|[[Обзор возможностей платформы|Возможности]]
[[Архитектура платформы|Архитектура]]

[[Список микросервисов]]

[[Масштабирование платформы|Масштабирование]]

[[Обеспечение безопасности|Безопасность]]

[[Обеспечение отказоустойчивости|Отказоустойчивость]]

[[Обзор приложений|Пакеты приложений]]

[[Ролевая модель системы]]
|[[Быстрая установка|'''Быстрая установка''']]
[[Установка платформы|Руководство по установке]]

[[Лицензирование]]

[[Требования платформы]]

[[Порты используемые системой|Используемые порты]]

[[Сертификаты SSL]]

[[Обновление платформы через апгрейд докер-контейнера|Апгрейд докер-контейнера]]

[[Обеспечение безопасности SIP]]

[[Подключение к Zabbix]]

[[Синхронизация и авторизация с LDAP]]
|[[:Категория:Курс IP АТС|Курс IP АТС]]
[[:Категория:Курс контакт-центр|Курс Контакт-центр]]

[[:Категория:Курс Разработка приложений|Курс Разработка приложений]]

[[Сертификация]]

[[Учебная лицензия]]
|[[Реализация ИИ чат-бота с переводом на оператора|ИИ-чатбот с переводом на оператора]]
[[Колл-листы в исходящих кампаниях]]

[[Пользовательская настройка статборда|Настройка статбордов]]

[[Настройка Autoprovision на примере Yealink T42G|Настройка Auto Provision]]

[[Подключение Yandex.Cloud]]

[[Создание форм оценки качества]]

[[Подмена номера при исходящем звонке]]

[[Запись разговоров в IVR голосовом меню]]

[[Параметры записи разговоров в MP3]]

[[Сохранение записей разговоров в S3 хранилище|Сохранение разговоров в S3]]

[[Примеры API запросов]]

[[Управление звонками через API]]

[[WebSocket песочница|Websocket-песочница]]

[[Модификация базового отчета]]

|[[Искусственный Интеллект|ИИ]]
[[Smart]]

[[Установка сервиса распознавания речи NanoASR|NanoASR]]

[[Era Meet|Era Meet (Видеоконференции)]]

[[WFM]]

[[Кабинет]]

[[Отчеты]]

[[Приложение ETL|ETL]]

[[Приложение Тестировщик|Тестировщик]]

[[Рабочее место оператора контакт-центра|Оператор]]

[[Рабочее место супервизора контакт-центра|Супервизор]]

[[Софтфон]]

[[Управление качеством]]

[[Рабочее место оператора]]

[[Управление знаниями]]

[[Управление обучением]]

|}
__БЕЗ_ОГЛАВЛЕНИЯ__

Установка сервиса распознавания речи NanoASR

2026-09-18T15:50:35Z

AZykov:

= Общая информация =
[https://github.com/usunrise88/NanoASR NanoASR - это утилита с открытым исходным кодом], позволяющая запускать модели машинного обучения для распознавания речи (транскрибации) и разделения спикеров (диаризации).

Данный проект позволяет запускать передовые модели для распознавания речи на серверах, не оборудованных графическими ускорителями.

=== Системные требования ===
Для установки требуется 4гб свободного дискового пространства.

Технически, утилита способна работать на минимальной конфигурации - 1 ядро CPU и 1гб ОЗУ. Единственное требование к CPU - поддержка AVX-инструкций. В таком случае, она сможет обрабатывать 1 параллельный запрос, со скоростью примерно 0.5 от реального времени (1 минуту записи обрабатывать за 2 минуты).

Рекомендуемые параметры сервера:

* 4 ядра CPU
* 4гб RAM
* 20гб SSD

В таком режиме, NanoASR может обрабатывать до 4 параллельных запросов со скоростью реального времени (минуту записи за минуту расчетов), либо 2 параллельных запроса со скоростью х2 (минуту записи за 30 секунд расчетов).

= Технические детали =
Утилита написана на языке Golang и представляет собой единый бинарный файл. В качестве среды исполнения моделей используется библиотека sherpa-onnx.

Утилита поддерживает различные архитектуры моделей, однако "из коробки" загружает следующий набор:
{| class="wikitable"
|+Модели NanoASR
!Модель
!Назначение
|-
|gigaam-v3-rnnt-punct-ru
|Распознавание речи
|-
|silero-vad-v5
|Детектор голосовой активности
|-
|pyannote-segmentation-3
|Модель разделения спикеров
|-
|campplus-sv-zh-en
|Модель построения "слепков" голосов (голосовых эмбеддингов)
|}

= Установка на Linux =
[[Файл:Установка NanoASR Linux.png|мини|Результат установки на Linux]]
Доступна быстрая установка с помощью готового скрипта.

Скрипт автоматически установит утилиту в /opt/nanoasr, зарегистрирует в systemd, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.<syntaxhighlight lang="bash">
curl -fsSL https://github.com/usunrise88/NanoASR/releases/latest/download/install.sh | bash
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Установка на Windows =
[[Файл:Результат установки Windows.png|мини|Результат установки Windows]]
Доступна быстрая установка с помощью готового скрипта.
Скрипт автоматически установит утилиту в C:/Program Files/NanoASR, создаст сервис, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.

Для быстрой установки необходимо вызвать данную команду в Powershell:<syntaxhighlight lang="powershell">
irm https://github.com/usunrise88/NanoASR/releases/latest/download/install.ps1 | iex
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Подключение к Платформе Эра =
Мастер домен -> Приложение "Настройки" -> Домен -> Параметры

Необходимо найти параметр '''record_asr_options.'''

Задать значение по следующему шаблону:<syntaxhighlight lang="json">
{
"servers": [
{
"headers": [
"Authorization: Bearer sk-nanoasr-*"
],
"uri": "http://[NanoASR_host]/asr_task?encode=true&task=transcribe&language=ru&output=json",
"uri_get_task_result": "http://[NanoASR_host]/asr_task/%TASK_ID%"
}
],
"thread_count": 5,
"type": "whisper",
"utc_hours": [
0,
0
]
}
</syntaxhighlight>Где:

* '''sk-nanoasr-*''' это ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
* '''[NanoASR_host]''' - адрес и порт установелнного сервиса NanoASR.

= Подключение к AI Softphone =
[[Файл:Настройка NanoASR в AI Softphone.png|центр|безрамки|932x932пкс]]
Настройки -> Расшифровка -> Распознаватели -> Добавить
{| class="wikitable"
|+Значения настроек для AI Softphone
!Настройка
!Значение
|-
|Название
|NanoASR (любое название)
|-
|Вид
|Совместимый с OpenAI (Whisper, OpenAI)
|-
|Адрес
|[http://example.com:8080/v1 http://'''<nowiki>[NanoASR_host]/</nowiki>'''v1] где '''[NanoASR_host]''' = адрес и порт установленного NanoASR
|-
|Ключ
|ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
|-
|Модель
|По умолчанию gigaam-v3-ctc-punct-ru
|-
|Включен
|Да
|}

= Конфигурационный файл nanoasr.yaml =

==== server — HTTP-сервер ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>addr</code>
|<code>:8080</code>
|Адрес прослушивания. <code>auth.mode: open</code> разрешён только если это loopback-интерфейс
|-
|<code>read_header_timeout</code>
|<code>10s</code>
|Таймаут чтения заголовков запроса
|-
|<code>max_upload_bytes</code>
|<code>1073741824</code>
|1 ГиБ. Подобрано под <code>max_duration</code>: 4 часа моно 16 кГц WAV ≈ 440 МБ
|-
|<code>shutdown_grace</code>
|<code>30s</code>
|Сколько ждать дорабатывающие задачи при остановке
|}

==== auth — доступ ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>mode</code>
|<code>apikey</code>
|<code>apikey</code> или <code>open</code>; <code>open</code> вне loopback — отказ при старте
|-
|<code>keys</code>
|<code>[]</code>
|В режиме <code>apikey</code> нужен хотя бы один, иначе сервер не стартует
|}
Поля ключа: <code>name</code> — имя; <code>key</code> — сам секрет или <code>sha256:<hex></code> (чтобы не хранить открытым); <code>admin: false</code> — право управлять моделями; <code>rps: 0</code> — без ограничения скорости; <code>priority: batch</code> — <code>interactive</code> пускает задачи этого ключа вперёд очереди.

==== api / ui ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>api.dialects</code>
|<code>[openai, native]</code>
|В поставляемом файле и после <code>init</code> — <code>[openai, native, era]</code>. <code>era</code> монтируется в корень, поэтому включается осознанно
|-
|<code>ui.enabled</code>
|<code>true</code>
|Встроенный веб-интерфейс для тестирования.
|-
|<code>ui.path</code>
|<code>/ui</code>
|Путь освобождён от авторизации, поэтому <code>/</code> и пересечение с API запрещены проверкой
|}

==== audio — приём и декодирование ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>ffmpeg_path</code>
|<code>ffmpeg</code>
|Пусто → только WAV/PCM, остальное отклоняется с 415
|-
|<code>ffmpeg_timeout</code>
|<code>120s</code>
|Предел на одно декодирование
|-
|<code>max_duration</code>
|<code>4h</code>
|Верхняя граница длительности файла; <code>0</code> — без ограничения
|-
|<code>target_sample_rate</code>
|<code>16000</code>
|Только 16000: все модели VAD и диаризации 16 кГц
|-
|<code>channel_mode</code>
|<code>downmix</code>
|<code>downmix</code><nowiki> | </nowiki><code>first</code><nowiki> | </nowiki><code>split</code>
|-
|<code>max_split_channels</code>
|<code>2</code>
|<code>split</code> декодирует все каналы целиком; 2 — пара телефонных плеч
|-
|<code>max_decoded_bytes</code>
|<code>0</code>
|→ <code>max_duration × rate × 4 × max_split_channels</code>
|}

==== vad — детектор речи ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>true</code>
|
|-
|<code>model</code>
|<code>silero-vad-v5</code>
|
|-
|<code>threshold</code>
|<code>0.5</code>
|Порог вероятности речи
|-
|<code>min_silence_ms</code>
|<code>300</code>
|Короче — не считается паузой
|-
|<code>min_speech_ms</code>
|<code>250</code>
|Короче — не считается речью
|-
|<code>max_speech_sec</code>
|<code>20</code>
|Без верхней границы монолог станет одним огромным сегментом
|}

==== asr — распознавание ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>models_dir</code>
|<code>/var/lib/nanoasr/models</code>
|
|-
|<code>default_model</code>
|<code>gigaam-v3-ctc-punct-ru</code>
|Русская пунктуация и регистр приходят из самой модели
|-
|<code>max_resident_models</code>
|<code>0</code>
|→ <code>clamp(max_model_rss_mb / 1500, 1..6)</code>
|-
|<code>max_model_rss_mb</code>
|<code>0</code>
|→ <code>clamp(RAM / 2, 1024..16384)</code>
|-
|<code>inference_slots</code>
|<code>0</code>
|→ число CPU (GOMAXPROCS)
|-
|<code>num_threads</code>
|<code>0</code>
|→ <code>clamp(CPU / 2, 1..8)</code>, на один экземпляр модели
|-
|<code>idle_ttl</code>
|<code>15m</code>
|Через сколько простоя модель выгружается из пула
|-
|<code>acquire_timeout</code>
|<code>30s</code>
|Ожидание свободного слота инференса
|-
|<code>batch.max_size</code>
|<code>8</code>
|Сегментов в батче
|-
|<code>batch.max_seconds</code>
|<code>60</code>
|Суммарная длительность батча
|-
|<code>variants.max</code>
|<code>0</code>
|Сколько дополнительных копий модели под пер-запросные настройки; <code>0</code> — настройки запроса игнорируются с предупреждением
|-
|<code>variants.allow_hotwords</code>
|<code>false</code>
|Требует <code>variants.max > 0</code>
|}

==== registry — реестр моделей ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>allow_download</code>
|<code>true</code>
|Скачивание весов по запросу
|-
|<code>catalog_url</code>
|<code>""</code>
|Пусто → встроенный каталог
|-
|<code>mirrors</code>
|<code>[]</code>
|Зеркала для загрузки
|-
|<code>download_concurrency</code>
|<code>2</code>
|Параллельных загрузок
|-
|<code>strict_license</code>
|<code>false</code>
|<code>true</code> → отказывать некоммерческим весам
|}

==== jobs — очередь ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>queue_size</code>
|<code>100</code>
|Мест в очереди
|-
|<code>max_concurrent</code>
|<code>0</code>
|→ <code>clamp(CPU / num_threads, 1..8)</code>; при <code>channel_mode: split</code> делится на число каналов
|-
|<code>max_queued_bytes</code>
|<code>4294967296</code>
|4 ГиБ аудио на диске; не меньше <code>max_upload_bytes</code>, превышение → 429 с Retry-After
|-
|<code>max_processing_time</code>
|<code>30m</code>
|Предел на одну задачу
|-
|<code>history_ttl</code>
|<code>720h</code>
|30 суток метаданных и транскриптов
|-
|<code>webhook_secret</code>
|<code>""</code>
|Подпись <code>X-NanoASR-Signature</code>; пусто → без подписи и предупреждение в лог
|-
|<code>webhook_allow_private</code>
|<code>false</code>
|Разрешает webhook на приватные адреса; само требует loopback
|}

==== postproc — постобработка ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>punctuation.enabled</code>
|<code>false</code>
|Нужно только моделям без пунктуации в словаре
|-
|<code>punctuation.model</code>
|<code>""</code>
|Модель из каталога вида punctuation
|-
|<code>itn.enabled</code>
|<code>false</code>
|Числа, даты, время, валюта, телефоны, проценты
|-
|<code>itn.locale</code>
|<code>ru</code>
|
|-
|<code>hotwords.enabled</code>
|<code>false</code>
|Требует <code>asr.variants.max > 0</code>
|-
|<code>hotwords.default_score</code>
|<code>1.5</code>
|Вес, когда клиент не указал свой
|}

==== diarization — разделение по говорящим ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>false</code>
|<code>nanoasr init</code> включает (если не <code>-no-diarize</code>)
|-
|<code>segmentation_model</code>
|<code>pyannote-segmentation-3</code>
|
|-
|<code>embedding_model</code>
|<code>campplus-sv-zh-en</code>
|Измерено: 2.9% DER при известном числе говорящих против 40.3% у voxceleb-модели
|-
|<code>clustering.num_clusters</code>
|<code>0</code>
|<code>0</code> → кластеризовать по порогу. Известное число говорящих сильнее любого порога
|-
|<code>clustering.threshold</code>
|<code>0.85</code>
|Выше — охотнее объединяет. У sherpa-onnx 0.5, что дробит диалог двоих на 36 «говорящих»
|-
|<code>min_duration_on</code>
|<code>0.3</code>
|Короче — реплика отбрасывается
|-
|<code>min_duration_off</code>
|<code>0.5</code>
|Короче — соседние реплики склеиваются
|}

==== storage / log ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>storage.db_path</code>
|/var/lib/nanoasr/nanoasr.db
|База задач
|-
|<code>storage.temp_dir</code>
|<code>""</code>
|→ <code><системный temp>/nanoasr-spool</code>. Аудио живёт здесь только до завершения задачи, настройки «хранить дольше» нет
|-
|<code>log.level</code>
|<code>info</code>
|<code>debug</code><nowiki> | </nowiki><code>info</code><nowiki> | </nowiki><code>warn</code><nowiki> | </nowiki><code>error</code>
|-
|<code>log.format</code>
|<code>json</code>
|<code>json</code><nowiki> | </nowiki><code>text</code>
|}

Установка сервиса распознавания речи NanoASR

2026-09-18T15:48:54Z

AZykov: /* Конфигурационный файл nanoasr.yaml */

= Общая информация =
[https://github.com/usunrise88/NanoASR NanoASR - это утилита с открытым исходным кодом], позволяющая запускать модели машинного обучения для распознавания речи (транскрибации) и разделения спикеров (диаризации).

Данный проект позволяет запускать передовые модели для распознавания речи на серверах, не оборудованных графическими ускорителями.

=== Системные требования ===
Для установки требуется 4гб свободного дискового пространства.

Технически, утилита способна работать на минимальной конфигурации - 1 ядро CPU и 1гб ОЗУ. Единственное требование к CPU - поддержка AVX-инструкций. В таком случае, она сможет обрабатывать 1 параллельный запрос, со скоростью примерно 0.5 от реального времени (1 минуту записи обрабатывать за 2 минуты).

Рекомендуемые параметры сервера:

* 4 ядра CPU
* 4гб RAM
* 20гб SSD

В таком режиме, NanoASR может обрабатывать до 4 параллельных запросов со скоростью реального времени (минуту записи за минуту расчетов), либо 2 параллельных запроса со скоростью х2 (минуту записи за 30 секунд расчетов).

= Технические детали =
Утилита написана на языке Golang и представляет собой единый бинарный файл. В качестве среды исполнения моделей используется библиотека sherpa-onnx.

Утилита поддерживает различные архитектуры моделей, однако "из коробки" загружает следующий набор:
{| class="wikitable"
|+Модели NanoASR
!Модель
!Назначение
|-
|gigaam-v3-rnnt-punct-ru
|Распознавание речи
|-
|silero-vad-v5
|Детектор голосовой активности
|-
|pyannote-segmentation-3
|Модель разделения спикеров
|-
|campplus-sv-zh-en
|Модель построения "слепков" голосов (голосовых эмбеддингов)
|}

= Установка на Linux =
[[Файл:Установка NanoASR Linux.png|мини|Результат установки на Linux]]
Доступна быстрая установка с помощью готового скрипта.

Скрипт автоматически установит утилиту в /opt/nanoasr, зарегистрирует в systemd, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.<syntaxhighlight lang="bash">
curl -fsSL https://github.com/usunrise88/NanoASR/releases/latest/download/install.sh | bash
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

После установки будет отображены данные для подключения, включая токены доступа.

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Установка на Windows =
[[Файл:Результат установки Windows.png|мини|Результат установки Windows]]
Доступна быстрая установка с помощью готового скрипта.
Скрипт автоматически установит утилиту в C:/Program Files/NanoASR, создаст сервис, загрузит веса всех необходимых моделей и установит ffmpeg для работы с mp3.

Для быстрой установки необходимо вызвать данную команду в Powershell:<syntaxhighlight lang="powershell">
irm https://github.com/usunrise88/NanoASR/releases/latest/download/install.ps1 | iex
</syntaxhighlight>Доступны также ручная установка и установка с помощью docker, оба варианта описаны в [https://github.com/usunrise88/NanoASR readme на github].

Если необходимо реализовать доступ к сервису из внешней сети, необходимо настроить на сервере реверс-прокси (например nginx или Caddy) с TLS к порту 8080.

= Подключение к Платформе Эра =
Мастер домен -> Приложение "Настройки" -> Домен -> Параметры

Необходимо найти параметр '''record_asr_options.'''

Задать значение по следующему шаблону:<syntaxhighlight lang="json">
{
"servers": [
{
"headers": [
"Authorization: Bearer sk-nanoasr-*"
],
"uri": "http://[NanoASR_host]/asr_task?encode=true&task=transcribe&language=ru&output=json",
"uri_get_task_result": "http://[NanoASR_host]/asr_task/%TASK_ID%"
}
],
"thread_count": 5,
"type": "whisper",
"utc_hours": [
0,
0
]
}
</syntaxhighlight>Где:

* '''sk-nanoasr-*''' это ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
* '''[NanoASR_host]''' - адрес и порт установелнного сервиса NanoASR.

= Подключение к AI Softphone =
[[Файл:Настройка NanoASR в AI Softphone.png|центр|безрамки|932x932пкс]]
Настройки -> Расшифровка -> Распознаватели -> Добавить
{| class="wikitable"
|+Значения настроек для AI Softphone
!Настройка
!Значение
|-
|Название
|NanoASR (любое название)
|-
|Вид
|Совместимый с OpenAI (Whisper, OpenAI)
|-
|Адрес
|[http://example.com:8080/v1 http://'''<nowiki>[NanoASR_host]/</nowiki>'''v1] где '''[NanoASR_host]''' = адрес и порт установленного NanoASR
|-
|Ключ
|ключ, полученный после установки (либо в yaml конфигурационном файле NanoASR);
|-
|Модель
|По умолчанию gigaam-v3-ctc-punct-ru
|-
|Включен
|Да
|}

=== Конфигурационный файл nanoasr.yaml ===

==== server — HTTP-слушатель ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>addr</code>
|<code>:8080</code>
|Адрес прослушивания. <code>auth.mode: open</code> разрешён только если это loopback
|-
|<code>read_header_timeout</code>
|<code>10s</code>
|Таймаут чтения заголовков запроса
|-
|<code>max_upload_bytes</code>
|<code>1073741824</code>
|1 ГиБ. Подобрано под <code>max_duration</code>: 4 часа моно 16 кГц WAV ≈ 440 МБ
|-
|<code>shutdown_grace</code>
|<code>30s</code>
|Сколько ждать дорабатывающие задачи при остановке
|}

==== auth — доступ ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>mode</code>
|<code>apikey</code>
|<code>apikey</code> или <code>open</code>; <code>open</code> вне loopback — отказ при старте
|-
|<code>keys</code>
|<code>[]</code>
|В режиме <code>apikey</code> нужен хотя бы один, иначе сервер не стартует
|}
Поля ключа: <code>name</code> — имя; <code>key</code> — сам секрет или <code>sha256:<hex></code> (чтобы не хранить открытым); <code>admin: false</code> — право управлять моделями; <code>rps: 0</code> — без ограничения скорости; <code>priority: batch</code> — <code>interactive</code> пускает задачи этого ключа вперёд очереди.

==== api / ui ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>api.dialects</code>
|<code>[openai, native]</code>
|В поставляемом файле и после <code>init</code> — <code>[openai, native, era]</code>. <code>era</code> монтируется в корень, поэтому включается осознанно
|-
|<code>ui.enabled</code>
|<code>true</code>
|Встроенный SPA
|-
|<code>ui.path</code>
|<code>/ui</code>
|Путь освобождён от авторизации, поэтому <code>/</code> и пересечение с API запрещены проверкой
|}

==== audio — приём и декодирование ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>ffmpeg_path</code>
|<code>ffmpeg</code>
|Пусто → только WAV/PCM, остальное отклоняется с 415
|-
|<code>ffmpeg_timeout</code>
|<code>120s</code>
|Предел на одно декодирование
|-
|<code>max_duration</code>
|<code>4h</code>
|Верхняя граница длительности файла; <code>0</code> — без ограничения
|-
|<code>target_sample_rate</code>
|<code>16000</code>
|Только 16000: все модели VAD и диаризации 16 кГц
|-
|<code>channel_mode</code>
|<code>downmix</code>
|<code>downmix</code><nowiki> | </nowiki><code>first</code><nowiki> | </nowiki><code>split</code>
|-
|<code>max_split_channels</code>
|<code>2</code>
|<code>split</code> декодирует все каналы целиком; 2 — пара телефонных плеч
|-
|<code>max_decoded_bytes</code>
|<code>0</code>
|→ <code>max_duration × rate × 4 × max_split_channels</code>
|}

==== vad — детектор речи ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>true</code>
|
|-
|<code>model</code>
|<code>silero-vad-v5</code>
|
|-
|<code>threshold</code>
|<code>0.5</code>
|Порог вероятности речи
|-
|<code>min_silence_ms</code>
|<code>300</code>
|Короче — не считается паузой
|-
|<code>min_speech_ms</code>
|<code>250</code>
|Короче — не считается речью
|-
|<code>max_speech_sec</code>
|<code>20</code>
|Без верхней границы монолог станет одним огромным сегментом
|}

==== asr — распознавание ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>models_dir</code>
|<code>/var/lib/nanoasr/models</code>
|
|-
|<code>default_model</code>
|<code>gigaam-v3-ctc-punct-ru</code>
|Русская пунктуация и регистр приходят из самой модели
|-
|<code>max_resident_models</code>
|<code>0</code>
|→ <code>clamp(max_model_rss_mb / 1500, 1..6)</code>
|-
|<code>max_model_rss_mb</code>
|<code>0</code>
|→ <code>clamp(RAM / 2, 1024..16384)</code>
|-
|<code>inference_slots</code>
|<code>0</code>
|→ число CPU (GOMAXPROCS)
|-
|<code>num_threads</code>
|<code>0</code>
|→ <code>clamp(CPU / 2, 1..8)</code>, на один экземпляр модели
|-
|<code>idle_ttl</code>
|<code>15m</code>
|Через сколько простоя модель выгружается из пула
|-
|<code>acquire_timeout</code>
|<code>30s</code>
|Ожидание свободного слота инференса
|-
|<code>batch.max_size</code>
|<code>8</code>
|Сегментов в батче
|-
|<code>batch.max_seconds</code>
|<code>60</code>
|Суммарная длительность батча
|-
|<code>variants.max</code>
|<code>0</code>
|Сколько дополнительных копий модели под пер-запросные настройки; <code>0</code> — настройки запроса игнорируются с предупреждением
|-
|<code>variants.allow_hotwords</code>
|<code>false</code>
|Требует <code>variants.max > 0</code>
|}

==== registry — реестр моделей ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>allow_download</code>
|<code>true</code>
|Скачивание весов по запросу
|-
|<code>catalog_url</code>
|<code>""</code>
|Пусто → встроенный каталог
|-
|<code>mirrors</code>
|<code>[]</code>
|Зеркала для загрузки
|-
|<code>download_concurrency</code>
|<code>2</code>
|Параллельных загрузок
|-
|<code>strict_license</code>
|<code>false</code>
|<code>true</code> → отказывать некоммерческим весам
|}

==== jobs — очередь ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>queue_size</code>
|<code>100</code>
|Мест в очереди
|-
|<code>max_concurrent</code>
|<code>0</code>
|→ <code>clamp(CPU / num_threads, 1..8)</code>; при <code>channel_mode: split</code> делится на число каналов
|-
|<code>max_queued_bytes</code>
|<code>4294967296</code>
|4 ГиБ аудио на диске; не меньше <code>max_upload_bytes</code>, превышение → 429 с Retry-After
|-
|<code>max_processing_time</code>
|<code>30m</code>
|Предел на одну задачу
|-
|<code>history_ttl</code>
|<code>720h</code>
|30 суток метаданных и транскриптов
|-
|<code>webhook_secret</code>
|<code>""</code>
|Подпись <code>X-NanoASR-Signature</code>; пусто → без подписи и предупреждение в лог
|-
|<code>webhook_allow_private</code>
|<code>false</code>
|Разрешает webhook на приватные адреса; само требует loopback
|}

==== postproc — постобработка ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>punctuation.enabled</code>
|<code>false</code>
|Нужно только моделям без пунктуации в словаре
|-
|<code>punctuation.model</code>
|<code>""</code>
|Модель из каталога вида punctuation
|-
|<code>itn.enabled</code>
|<code>false</code>
|Числа, даты, время, валюта, телефоны, проценты
|-
|<code>itn.locale</code>
|<code>ru</code>
|
|-
|<code>hotwords.enabled</code>
|<code>false</code>
|Требует <code>asr.variants.max > 0</code>
|-
|<code>hotwords.default_score</code>
|<code>1.5</code>
|Вес, когда клиент не указал свой
|}

==== diarization — разделение по говорящим ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>enabled</code>
|<code>false</code>
|<code>nanoasr init</code> включает (если не <code>-no-diarize</code>)
|-
|<code>segmentation_model</code>
|<code>pyannote-segmentation-3</code>
|
|-
|<code>embedding_model</code>
|<code>campplus-sv-zh-en</code>
|Измерено: 2.9% DER при известном числе говорящих против 40.3% у voxceleb-модели
|-
|<code>clustering.num_clusters</code>
|<code>0</code>
|<code>0</code> → кластеризовать по порогу. Известное число говорящих сильнее любого порога
|-
|<code>clustering.threshold</code>
|<code>0.85</code>
|Выше — охотнее объединяет. У sherpa-onnx 0.5, что дробит диалог двоих на 36 «говорящих»
|-
|<code>min_duration_on</code>
|<code>0.3</code>
|Короче — реплика отбрасывается
|-
|<code>min_duration_off</code>
|<code>0.5</code>
|Короче — соседние реплики склеиваются
|}

==== storage / log ====
{| class="wikitable"
!Параметр
!По умолчанию
!Комментарий
|-
|<code>storage.db_path</code>
|/var/lib/nanoasr/nanoasr.db
|База задач
|-
|<code>storage.temp_dir</code>
|<code>""</code>
|→ <code><системный temp>/nanoasr-spool</code>. Аудио живёт здесь только до завершения задачи, настройки «хранить дольше» нет
|-
|<code>log.level</code>
|<code>info</code>
|<code>debug</code><nowiki> | </nowiki><code>info</code><nowiki> | </nowiki><code>warn</code><nowiki> | </nowiki><code>error</code>
|-
|<code>log.format</code>
|<code>json</code>
|<code>json</code><nowiki> | </nowiki><code>text</code>
|}

Установка сервиса распознавания речи NanoASR

2026-09-18T15:48:18Z

AZykov:

Установка сервиса распознавания речи NanoASR

2026-09-18T15:44:02Z

AZykov: /* Подключение к Платформе Эра */

Файл:Настройка NanoASR в AI Softphone.png

2026-09-18T15:39:42Z

AZykov:

Настройка NanoASR в AI Softphone

Установка сервиса распознавания речи NanoASR

2026-09-18T15:27:41Z

AZykov: Новая страница: «= Общая информация = [https://github.com/usunrise88/NanoASR NanoASR - это утилита с открытым исходным кодом], позволяющая запускать модели машинного обучения для распознавания речи (транскрибации) и разделения спикеров (диаризации). Данный проект позволяет запускать передо...»

Файл:Результат установки Windows.png

2026-09-18T15:24:05Z

AZykov:

Результат установки Windows

Файл:Установка NanoASR Linux.png

2026-09-18T15:19:22Z

AZykov:

Установка NanoASR Linux

Установка сервисов голосового робота

2026-08-10T13:48:43Z

AZykov: /* 2.3. ASR (T-one на Triton Inference Server) */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
= Глоссарий =

* '''Модель.''' Обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре: VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).
* '''Веса.''' Числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.
* '''Инференс.''' Использование готовой модели для получения ответа на некий набор входных данных ("прогон" данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.
* '''LLM.''' Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.
* '''Triton''' (NVIDIA Triton Inference Server). Сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.
* '''TensorRT.''' Библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.
* '''vLLM.''' Движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.
* '''nvidia-smi''' (NVIDIA System Management Interface). Консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).
* '''KV-Cache''' (кэш ключей и значений). Память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.
* '''LightTTS.''' Движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.
* '''Промпт.''' Инструкция, которой следует большая языковая модель.
* '''Токен.''' В ''контексте LLM'' это единица текста, которой оперирует модель (примерно часть слова / слово / знак). В токенах измеряются окно контекста и объём генерации.
* '''Окно контекста.''' Максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
* '''Compute.''' Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их ресурсы ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.
<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

Инструкция написана для Unbuntu 24.04.

При написании и проверке данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://download.era-platform.ru/ai/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени (холодный старт):

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).
= Этап 4. Запуск контейнера secondchain и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

Ссылка на загрузку контейнера secondchain предоставляется менеджером по запросу.

<syntaxhighlight lang="bash">

docker load -i secondchain.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

=== Загрузить голос ===
[[Файл:Голос робота в приложении ИИ.png|мини]]
Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===
[[Файл:Инструменты робота.png|мини]]
Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}
[[Файл:Пример робота в приложении ИИ.png|мини]]

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

Системный промпт задаёт поведение робота, а промпт пост-обработки позволяет после окончания диалога проанализировать его и сохранить в сессии бизнес-результат (удобнее всего, в формате JSON).

При составлении собственного системного важным эффектом является "внимательность" (attention) больших языковых моделей. Они более строго следуют инструкциям, написанным в начале и конце промпта. Поэтому данные области рекомендуется оставлять для строгих ограничений.

Для построения надежных роботов с повторяемой эффективностью, рекомендуется использовать подход с описанием строгих шагов диалога.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
[[Файл:Статус робота.png|мини]]

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
[[Файл:Робот в очереди.png|мини]]

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-08T15:20:22Z

AZykov: /* 4.1. Загрузка образа и запуск контейнера */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
= Глоссарий =

* '''Модель.''' Обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре: VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).
* '''Веса.''' Числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.
* '''Инференс.''' Использование готовой модели для получения ответа на некий набор входных данных ("прогон" данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.
* '''LLM.''' Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.
* '''Triton''' (NVIDIA Triton Inference Server). Сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.
* '''TensorRT.''' Библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.
* '''vLLM.''' Движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.
* '''nvidia-smi''' (NVIDIA System Management Interface). Консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).
* '''KV-Cache''' (кэш ключей и значений). Память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.
* '''LightTTS.''' Движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.
* '''Промпт.''' Инструкция, которой следует большая языковая модель.
* '''Токен.''' В ''контексте LLM'' это единица текста, которой оперирует модель (примерно часть слова / слово / знак). В токенах измеряются окно контекста и объём генерации.
* '''Окно контекста.''' Максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
* '''Compute.''' Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их ресурсы ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.
<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

Инструкция написана для Unbuntu 24.04.

При написании и проверке данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени (холодный старт):

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).
= Этап 4. Запуск контейнера secondchain и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

Ссылка на загрузку контейнера secondchain предоставляется менеджером по запросу.

<syntaxhighlight lang="bash">

docker load -i secondchain.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

=== Загрузить голос ===
[[Файл:Голос робота в приложении ИИ.png|мини]]
Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===
[[Файл:Инструменты робота.png|мини]]
Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}
[[Файл:Пример робота в приложении ИИ.png|мини]]

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

Системный промпт задаёт поведение робота, а промпт пост-обработки позволяет после окончания диалога проанализировать его и сохранить в сессии бизнес-результат (удобнее всего, в формате JSON).

При составлении собственного системного важным эффектом является "внимательность" (attention) больших языковых моделей. Они более строго следуют инструкциям, написанным в начале и конце промпта. Поэтому данные области рекомендуется оставлять для строгих ограничений.

Для построения надежных роботов с повторяемой эффективностью, рекомендуется использовать подход с описанием строгих шагов диалога.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
[[Файл:Статус робота.png|мини]]

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
[[Файл:Робот в очереди.png|мини]]

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T12:19:35Z

AZykov: /* Микросервисы робота и их нагрузка */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
= Глоссарий =

* '''Модель.''' Обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре: VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).
* '''Веса.''' Числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.
* '''Инференс.''' Использование готовой модели для получения ответа на некий набор входных данных ("прогон" данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.
* '''LLM.''' Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.
* '''Triton''' (NVIDIA Triton Inference Server). Сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.
* '''TensorRT.''' Библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.
* '''vLLM.''' Движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.
* '''nvidia-smi''' (NVIDIA System Management Interface). Консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).
* '''KV-Cache''' (кэш ключей и значений). Память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.
* '''LightTTS.''' Движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.
* '''Промпт.''' Инструкция, которой следует большая языковая модель.
* '''Токен.''' В ''контексте LLM'' это единица текста, которой оперирует модель (примерно часть слова / слово / знак). В токенах измеряются окно контекста и объём генерации.
* '''Окно контекста.''' Максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
* '''Compute.''' Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их ресурсы ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.
<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

Инструкция написана для Unbuntu 24.04.

При написании и проверке данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени (холодный старт):

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).
= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

=== Загрузить голос ===
[[Файл:Голос робота в приложении ИИ.png|мини]]
Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===
[[Файл:Инструменты робота.png|мини]]
Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}
[[Файл:Пример робота в приложении ИИ.png|мини]]

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

Системный промпт задаёт поведение робота, а промпт пост-обработки позволяет после окончания диалога проанализировать его и сохранить в сессии бизнес-результат (удобнее всего, в формате JSON).

При составлении собственного системного важным эффектом является "внимательность" (attention) больших языковых моделей. Они более строго следуют инструкциям, написанным в начале и конце промпта. Поэтому данные области рекомендуется оставлять для строгих ограничений.

Для построения надежных роботов с повторяемой эффективностью, рекомендуется использовать подход с описанием строгих шагов диалога.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
[[Файл:Статус робота.png|мини]]

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
[[Файл:Робот в очереди.png|мини]]

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T12:19:09Z

AZykov: /* Общая информация */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
= Глоссарий =

* '''Модель.''' Обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре: VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).
* '''Веса.''' Числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.
* '''Инференс.''' Использование готовой модели для получения ответа на некий набор входных данных ("прогон" данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.
* '''LLM.''' Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.
* '''Triton''' (NVIDIA Triton Inference Server). Сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.
* '''TensorRT.''' Библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.
* '''vLLM.''' Движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.
* '''nvidia-smi''' (NVIDIA System Management Interface). Консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).
* '''KV-Cache''' (кэш ключей и значений). Память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.
* '''LightTTS.''' Движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.
* '''Промпт.''' Инструкция, которой следует большая языковая модель.
* '''Токен.''' В ''контексте LLM'' это единица текста, которой оперирует модель (примерно часть слова / слово / знак). В токенах измеряются окно контекста и объём генерации.
* '''Окно контекста.''' Максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
* '''Compute.''' Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.
<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

Инструкция написана для Unbuntu 24.04.

При написании и проверке данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени (холодный старт):

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).
= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

=== Загрузить голос ===
[[Файл:Голос робота в приложении ИИ.png|мини]]
Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===
[[Файл:Инструменты робота.png|мини]]
Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}
[[Файл:Пример робота в приложении ИИ.png|мини]]

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

Системный промпт задаёт поведение робота, а промпт пост-обработки позволяет после окончания диалога проанализировать его и сохранить в сессии бизнес-результат (удобнее всего, в формате JSON).

При составлении собственного системного важным эффектом является "внимательность" (attention) больших языковых моделей. Они более строго следуют инструкциям, написанным в начале и конце промпта. Поэтому данные области рекомендуется оставлять для строгих ограничений.

Для построения надежных роботов с повторяемой эффективностью, рекомендуется использовать подход с описанием строгих шагов диалога.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
[[Файл:Статус робота.png|мини]]

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
[[Файл:Робот в очереди.png|мини]]

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T12:18:08Z

AZykov: /* Глоссарий */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =

* '''Модель.''' Обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре: VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).
* '''Веса.''' Числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.
* '''Инференс.''' Использование готовой модели для получения ответа на некий набор входных данных ("прогон" данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.
* '''LLM.''' Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.
* '''Triton''' (NVIDIA Triton Inference Server). Сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.
* '''TensorRT.''' Библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.
* '''vLLM.''' Движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.
* '''nvidia-smi''' (NVIDIA System Management Interface). Консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).
* '''KV-Cache''' (кэш ключей и значений). Память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.
* '''LightTTS.''' Движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.
* '''Промпт.''' Инструкция, которой следует большая языковая модель.
* '''Токен.''' В ''контексте LLM'' это единица текста, которой оперирует модель (примерно часть слова / слово / знак). В токенах измеряются окно контекста и объём генерации.
* '''Окно контекста.''' Максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
* '''Compute.''' Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.
<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

Инструкция написана для Unbuntu 24.04.

При написании и проверке данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени (холодный старт):

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).
= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

=== Загрузить голос ===
[[Файл:Голос робота в приложении ИИ.png|мини]]
Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===
[[Файл:Инструменты робота.png|мини]]
Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}
[[Файл:Пример робота в приложении ИИ.png|мини]]

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

Системный промпт задаёт поведение робота, а промпт пост-обработки позволяет после окончания диалога проанализировать его и сохранить в сессии бизнес-результат (удобнее всего, в формате JSON).

При составлении собственного системного важным эффектом является "внимательность" (attention) больших языковых моделей. Они более строго следуют инструкциям, написанным в начале и конце промпта. Поэтому данные области рекомендуется оставлять для строгих ограничений.

Для построения надежных роботов с повторяемой эффективностью, рекомендуется использовать подход с описанием строгих шагов диалога.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
[[Файл:Статус робота.png|мини]]

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
[[Файл:Робот в очереди.png|мини]]

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T12:08:47Z

AZykov: /* 4.2. Создать робота в приложении ИИ */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.
<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

Инструкция написана для Unbuntu 24.04.

При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).
= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==
Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

[[:Файл:Демо ресурсы для голосового робота.zip]]

Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

=== Загрузить голос ===
[[Файл:Голос робота в приложении ИИ.png|мини]]
Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===
[[Файл:Инструменты робота.png|мини]]
Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}
[[Файл:Пример робота в приложении ИИ.png|мини]]

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
[[Файл:Статус робота.png|мини]]

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
[[Файл:Робот в очереди.png|мини]]

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Файл:Демо ресурсы для голосового робота.zip

2026-07-07T12:07:05Z

AZykov: .env файл Запись голоса Файлы для импорта голосового робота (Голос, инструменты, робот)

== Краткое описание ==
.env файл
Запись голоса
Файлы для импорта голосового робота (Голос, инструменты, робот)

Установка сервисов голосового робота

2026-07-07T12:02:59Z

AZykov: /* Запуск робота с использованием облачных сервисов инференса */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.
<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

Инструкция написана для Unbuntu 24.04.

При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===
[[Файл:Голос робота в приложении ИИ.png|мини]]
Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===
[[Файл:Инструменты робота.png|мини]]
Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}
[[Файл:Пример робота в приложении ИИ.png|мини]]

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
[[Файл:Статус робота.png|мини]]

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
[[Файл:Робот в очереди.png|мини]]

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Файл:Робот в очереди.png

2026-07-07T12:02:51Z

AZykov:

Робот в очереди

Файл:Статус робота.png

2026-07-07T12:02:04Z

AZykov:

Статус робота

Файл:Пример робота в приложении ИИ.png

2026-07-07T12:00:25Z

AZykov:

Пример робота в приложении ИИ

Файл:Инструменты робота.png

2026-07-07T11:59:27Z

AZykov:

Инструменты робота

Файл:Голос робота в приложении ИИ.png

2026-07-07T11:58:52Z

AZykov:

Голос робота в приложении ИИ

Установка сервисов голосового робота

2026-07-07T11:54:17Z

AZykov:

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.

При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция написана для Unbuntu 24.04.

При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T11:53:32Z

AZykov: /* Запуск сервиса робота с использованием облачных сервисов инференса */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.

При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция написана для Unbuntu 24.04.

При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T11:53:18Z

AZykov: /* Масштабирование сервиса */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Рекомендуемой конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

=== Запуск сервиса робота с использованием облачных сервисов инференса ===
В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

Сервис поддерживает наиболее популярные API для работы с облачными моделями:

* OpenAI-like формат для LLM. Позволяет подключать к роботу любые из современных передовых языковых моделей.
* OpenAI-like transcription формат для распознавания речи.
* LightTTS API формат для генерации речи

Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей.

При выборе облачной LLM критичными показателями являются следующие:

* Метрика TTFT (Time To First Token). Время отклика модели до пересылки первых токенов ответа. Должна быть <=300мс, включая сетевые задержки;
* Поддержка streaming (SSE/chunked) ответов;
* Возможность отключения режима thinking/reasoning;
* Скорость генерации ответа >30 токенов/сек.

При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

4x CPU

8gb RAM

80gb SSD

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция написана для Unbuntu 24.04.

При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T11:39:18Z

AZykov: /* Приблизительный расчет требуемых мощностей */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Минимальной конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|30-40
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

'''Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция написана для Unbuntu 24.04.

При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T11:31:42Z

AZykov: /* Приблизительный расчет требуемых мощностей */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
Минимальной конфигурацией является следующая:

CPU 8x

RAM 64gb DDR5

300gb SSD
{| class="wikitable"
|+Сравнение ускорителей
!Ускоритель
!Архитектура
!VRAM
!Bandwith
!Compute (INT8)
!Приблизительное количество параллельных сессий
|-
|RTX PRO 5000
|Blackwell
|48gb
|1.34TB/s
|516 TOPS
|40-50
|-
|RTX PRO 6000
|Blackwell
|96gb
|1.79TB/s
|1000 TOPS
|50-70
|-
|RTX 4090/48
|Ada
|48gb
|1TB/s
|660 TOPS
|25-30
|-
|2x RTX 5090
|Blackwell
|2x32gb
|1.79TB/s
|828 TOPS
|30-40
|-
|2x RTX 4090/24
|Ada
|2x24gb
|1TB/s
|660 TOPS
|10-20
|-
|A100/40
|Ampere
|40gb
|1.56TB/s
|624 TOPS
|18-23
|-
|A100/80
|Ampere
|80gb
|2TB/s
|624 TOPS
|55-75
|-
|H100
|Hopper
|80gb
|3.35TB/s
|990 TOPS
|70-100
|}

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T11:10:40Z

AZykov: /* Масштабирование сервиса */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
паывпывапыв

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы vLLM и LightTTS можно выносить на отдельные сервера. При этом, например, для LightTTS не требуется большой объем VRAM, и он может качественно работать на сравнительно недорогих потребительских ускорителях (4090, 5080).

Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T10:51:58Z

AZykov: /* Нюансы подбора GPU */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Промпт''' — Инструкция, которой следует большая языковая модель.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Ampere, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры '''Ampere'''. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
Из-за логики работы голосового робота, нагрузка на его компоненты в рамках одной сессии достаточно неравномерна. Большинство моделей включаются последовательно после завершения инференса модели на предыдущем шаге:

* VAD (детектирование голосовой активности) - работает всегда (но не вносит существенной нагрузки)
* ASR (распознавание речи) - запускается при срабатывании триггера VAD (окончание реплики)
* LLM - запускается после завершения работы ASR
* TTS - запускается во время / после завершения работы ASR (LLM возвращает текст в потоковом режиме. Текст разбивается на предложения и передается TTS в реальном времени)

Кроме того, архитектурные особенности робота позволяют избегать шага вызова TTS для всех реплик, которые уже были сгенерированы ранее и помещены в кеш. Получается, что если инструкция робота задана таким образом, чтобы его реплики были "статичны" от сессии к сессии, получается экономить значительное количество ресурсов, переиспользуя уже существующие генерации.

Свои оптимизации есть и на стороне инференса LLM:

В команду запуска vLLM по-умолчанию включен режим prefix caching. Данный механизм позволяет кешировать системный промпт и переиспользовать ранее произведенные вычисления для новых запросов. Включение prefix caching позволяет экономить compute для однотипных запросов, а также уменьшить скорость отклика.

Поскольку в рамках голосового робота все запросы (к конкретной конфигурации) используют один системный промпт, это позволяет серьезно экономить.

Данный механизм теряет свою эффективность, к одной LLM будет обращаться большое число роботов с существенно отличающимися системными промптами (50+, точное количество зависит от доступного объема VRAM и настроек vLLM). Также механизм будет мешать, если LLM используется для каких-либо других задач, кроме работы голосового робота.

=== Приблизительный расчет требуемых мощностей ===
паывпывапыв

=== Масштабирование сервиса ===
При масштабировании голосового робота существует три подхода:

* Использование дополнительных GPU, либо переход на сервер с более производительным GPU
* Использование нескольких серверов с GPU для балансировки нагрузки
* Использование нескольких экземпляров робота (движков)

На текущий момент наиболее удобным вариантом масштабирования является второй. Наиболее нагруженные сервисы

__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T10:32:56Z

AZykov: /* Нюансы подбора GPU */

= Общая информация =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя, аналог CPU Time при обычных расчетах. Измеряется в GFLOP/TFLOP (операциях в секунду)

= Требования к оборудованию, нагрузка и мастштабирование =

=== Микросервисы робота и их нагрузка ===
Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
{| class="wikitable"
|+Микросервисы робота
!Название
!Назначение
!Ключевые ресурсы
!Минимальное потребление VRAM
!Дополнительное потребление VRAM из расчета на 1 сессию
!Условное потребление Compute на 1 сессию
|-
|secondchain
|Инференс модели VAD (CPU), логика робота, голосовой pipeline, работа с сессиями, SIP-клиент
|CPU, RAM
| -
| -
| -
|-
|vLLM (qwen3.5-35b-a3b-INT4)
Данные указаны с окном контекста 8192 токена.
|Инференс больших языковых моделей (LLM)
|VRAM, Compute
|22gb
|0.3gb
|~3 GFLOP/токен
|-
|T-one (Triton Inference Server)
|Инференс T-One speech-to-text
|Compute
|600mb
|10mb
|~1-3 GFLOP/секунда речи
|-
|LightTTS
|Инференс CosyVoice3 TTS
|Compute, VRAM
|8gb
|0.3gb
|~120GFLOP/секунда генерируемоей речи
|}
При высокой конкуренции за Compute, увеличиваются задержки на каждом из этапов инференса. Самым чувствительным компонентом, при этом, является LightTTS - из-за архитектурных особенностей. TTS требует много вычислительных ресурсов, и большое количество параллельных генераций могут значительно увеличивать задержку. В случае использования нескольких серверов рекомендуется первично выносить на отдельный сервер либо LightTTS, либо vLLM (для высвобождения Compute).

Архитектурно при этом, робот устроен таким образом, чтобы минимизировать инференс LightTTS при возможности (агрессивное кеширование результатов TTS).

=== Нюансы подбора GPU ===
При подборе GPU под данный стек объём VRAM не является определяющим критерием. Веса любой из трёх моделей помещаются в память практически любой современной карты (уровня 5090 или выше), тогда как реальными ограничивающими факторами выступают пропускная способность памяти на этапе декодирования LLM и вычислительная нагрузка DiT-декодера в TTS. Соответственно, при выборе оборудования следует ориентироваться в первую очередь на memory bandwidth и на аппаратную поддержку современных типов данных, а не на номинальный объём видеопамяти.

Отдельного внимания заслуживает интерфейс межкарточного взаимодействия. Потребительские карты рассчитаны преимущественно на одиночную эксплуатацию: в актуальных линейках Blackwell и Ada поддержка NVLink отсутствует, и обмен между несколькими GPU на одном сервере осуществляется исключительно через PCIe (Gen4/Gen5). При использовании tensor parallelism это создаёт заметные накладные расходы на межкарточную коммуникацию, что становится ощутимым при высокой конкурентной нагрузке. Дата-центровые решения (H100, H200, а также RTX PRO 6000 в соответствующем сегменте) либо предоставляют NVLink с пропускной способностью в сотни ГБ/с, либо обладают достаточным объёмом памяти для размещения моделей на одной карте, что позволяет полностью исключить tensor parallelism и связанные с ним издержки.

Следует также учитывать высокие темпы развития архитектур GPU. Производительная карта шестилетней давности может уступать современному решению среднего уровня как по вычислительной мощности, так и — что существенно в данном случае — по набору поддерживаемых типов данных. Например, NVIDIA V100 (Volta, 2017), несмотря на наличие NVLink и памяти HBM, не поддерживает аппаратное ускорение FP8 и Int4 на тензорных ядрах. Между тем рассматриваемый стек существенно опирается на эти форматы: Qwen в квантизации GPTQ-Int4 с fp8 KV-cache, T-one в TensorRT, TTS с int8-квантизацией. На оборудовании предыдущих поколений соответствующие операции либо неработоспособны в требуемых форматах, либо выполняются с существенным замедлением за счёт программной эмуляции.

С практической точки зрения приоритеты при выборе оборудования под данный пайплайн выстраиваются следующим образом: в первую очередь — поколение архитектуры (Ada, Hopper, Blackwell — ввиду поддержки FP8 и Int4 на тензорных ядрах), далее — пропускная способность памяти, и лишь затем — объём VRAM, поскольку последний в рамках данной задачи практически всегда достаточен.

Робот тестировался преимущественно на картах поколения Blackwell:

* '''RTX5090''' (использовалась другая LLM меньшего размера)
* '''RTX PRO 5000''' 48gb
* '''RTX PRO 6000''' 96gb

Однако проводились также тесты на картах архитектуры Ampere. Результат можно считать удовлетворительным, особенно для организации тестовых и демо-сред без постоянной большой нагрузки.

Отдельно хочется сказать про ускорители других производителей (AMD, Intel):

К большому сожалению, большая часть инфраструктурного софта оптимизируется в первую очередь под ускорители NVIDIA. В связи с этим даже более производительные карты AMD "на бумаге", по факту показывают значительно меньшие скорости при реальных задачах. Некоторые же библиотеки и компоненты (TensorRT, Triton Inference Server и т.д.) вообще являются проприетарными разработками NVIDIA и не поддерживают работу с ускорителями других производителей.

=== Анизотропность нагрузки ===
пывпаывпыва

=== Приблизительный расчет требуемых мощностей ===
паывпывапыв

=== Масштабирование сервиса ===
авыфаывафыв
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-07T10:22:15Z

AZykov: /* Микросервисы робота и их нагрузка */

Установка сервисов голосового робота

2026-07-07T10:21:19Z

AZykov: /* Глоссарий */

Установка сервисов голосового робота

2026-07-07T09:59:31Z

AZykov: /* Микросервисы робота и их нагрузка */

Установка сервисов голосового робота

2026-07-07T09:56:12Z

AZykov: /* Общая информация */

Установка сервисов голосового робота

2026-07-06T23:53:51Z

AZykov: /* Установка и настройка голосового робота Эра */

Установка сервисов голосового робота

2026-07-06T23:52:22Z

AZykov: /* 2.6. Итоговая карта портов */

= Установка и настройка голосового робота Эра =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 17000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 17001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-06T23:51:08Z

AZykov: /* Установка и настройка голосового робота Эра (SecondChain) */

= Установка и настройка голосового робота Эра =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-06T23:50:53Z

AZykov: /* Установка и настройка голосового робота Эра (SecondChain) */

= Установка и настройка голосового робота Эра (SecondChain) =
[[Файл:Архитектура голосового робота.png|центр|безрамки|763x763пкс]]
Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Файл:Архитектура голосового робота.png

2026-07-06T23:50:34Z

AZykov:

Архитектура голосового робота

Установка сервисов голосового робота

2026-07-06T23:41:08Z

AZykov: /* 2.5. TTS (LightTTS + CosyVoice3) */

= Установка и настройка голосового робота Эра (SecondChain) =

Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights \
python -m light_tts.server.api_server \
--model_dir /opt/models/Fun-CosyVoice3-0.5B \
--data_type float16 \
--load_trt True \
--host 0.0.0.0

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-06T23:33:43Z

AZykov: /* Этап 3. Настройка .env */

= Установка и настройка голосового робота Эра (SecondChain) =

Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]

POSTGRES_HOST=[хост postgresql]
POSTGRES_PORT=5432
POSTGRES_USER=[логин postgresql]
POSTGRES_PASSWORD=[пароль postgresql]
POSTGRES_DB=[имя БД, если укзаанная БД отсутствует - она будет автоматически создана]

CONCURRENT_SESSIONS=[Жесткое ограничение количества одновременных сессий]

SIP_SERVER=[адрес Эры]
SIP_PORT=[порт SIP]
SIP_USERNAME=[Имя учетной записи абонента из пункта 1.4]
SIP_PASSWORD=[Пароль учетной записи абонента из пункта 1.4]
SIP_DOMAIN=[Полное имя домена, например robot.era-platform.ru]
#Детальные настройки SIP-клиента. В случае необходимости обхода NAT
SIP_TRANSPORT=udp
# NAT Traversal
SIP_STUN_SERVER=stun.l.google.com:19302
SIP_USE_ICE=false

LLM_MODE=openai_api
#В случае использования сервиса инфереса vLLM на другом хосте, необходимо изменить адрес/порт
LLM_OPENAI_API_BASE=http://localhost:16080/v1
LLM_OPENAI_MODEL=qwen35-35b-a3b

ASR_MODE=triton
#В случае использования сервиса инфереса tone-triton на другом хосте, необходимо изменить адреса/порты
ASR_TRITON_URL=http://localhost:17000
ASR_TRITON_GRPC=localhost:17001
ASR_TRITON_MODEL=streaming_acoustic
ASR_TRITON_TIMEOUT=10
ASR_DECODER_TYPE=beam_search

TTS_PROVIDER=lighttts
#В случае использования сервиса инфереса LightTTS на другом хосте, необходимо изменить адрес/порт
LIGHTTTS_URL=http://localhost:8080/
LIGHTTTS_SAMPLE_RATE=24000
LIGHTTTS_STREAMING=false
LIGHTTTS_CONCURRENCY=4

</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-06T23:21:53Z

AZykov: /* 2.7. Финальная проверка стека */

= Установка и настройка голосового робота Эра (SecondChain) =

Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>
[[Файл:Контейнеры сервисов инференса голосового робота.png|центр|безрамки|1067x1067пкс]]

= Этап 3. Настройка .env =

Базовые параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]
</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Файл:Контейнеры сервисов инференса голосового робота.png

2026-07-06T23:21:31Z

AZykov:

Контейнеры сервисов инференса голосового робота

Установка сервисов голосового робота

2026-07-06T23:17:56Z

AZykov: /* 2.5. TTS (LightTTS + CosyVoice3) */

= Установка и настройка голосового робота Эра (SecondChain) =

Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 10 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — 10 '''GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>

После проверки выполняется подключение пайплайна PjSIP → VAD → ASR → LLM → TTS с указанием эндпоинтов в конфигурации: ASR — <code>:8000/:8001</code>, LLM — <code>:16080</code>, TTS — <code>:8080</code>.

= Этап 3. Настройка .env =

Базовые параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]
</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-06T23:17:24Z

AZykov: /* 2.5. TTS (LightTTS + CosyVoice3) */

= Установка и настройка голосового робота Эра (SecondChain) =

Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 11 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz

docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz

docker load -i lightts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
INFO 07-06 23:16:49.963 [server/api_http.py:391] ✅ Startup health check passed!
INFO 07-06 23:16:49.963 [server/api_http.py:395] ✅ Application ready! Server is now accepting requests
INFO 07-06 23:16:49.963 [server/api_http.py:396] 🌐 Listening at: http://localhost:8080
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — '''11 GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>

После проверки выполняется подключение пайплайна PjSIP → VAD → ASR → LLM → TTS с указанием эндпоинтов в конфигурации: ASR — <code>:8000/:8001</code>, LLM — <code>:16080</code>, TTS — <code>:8080</code>.

= Этап 3. Настройка .env =

Базовые параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]
</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]

Установка сервисов голосового робота

2026-07-06T23:04:11Z

AZykov: /* Установка и настройка голосового робота Эра (SecondChain) */

= Установка и настройка голосового робота Эра (SecondChain) =

Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:

# '''[[#Этап 1. Подготовка|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.
# '''[[#Этап 2. Установка сервисов инференса (опционально)|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
# '''[[#Этап 3. Настройка .env|Настройка .env]]''' — параметры подключения.
# '''[[#Этап 4. Запуск контейнера и создание робота|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

= Глоссарий =
'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

'''Веса''' — числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.

'''Инференс''' — использование готовой модели для получения ответа на новый вход («прогон» данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.

'''Triton''' (NVIDIA Triton Inference Server) — сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.

'''TensorRT''' — библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.

'''vLLM''' — движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.

'''nvidia-smi''' (NVIDIA System Management Interface) — консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).

'''KV-Cache''' (кэш ключей и значений) — память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

'''LightTTS''' — движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). Именно в токенах измеряются окно контекста и объём генерации.

'''Окно контекста''' — максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
__TOC__

= Этап 1. Подготовка =

Установка Docker, базы данных и настройка проброса заголовков и абонента в системе телефонии.

== 1.1. Установка Docker ==
Установка самого Docker:<syntaxhighlight lang="bash">
apt install ca-certificates curl
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
</syntaxhighlight>Установка Nvidia Container Toolkit (только для серверов с GPU):<syntaxhighlight lang="bash">
# репозиторий
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
</syntaxhighlight>

== 1.2. Создать БД в PostgreSQL ==

Установить или взять существующий инстанс Postgres, создать нового пользователя и базу для робота.

Пример с Docker:

<syntaxhighlight lang="bash">
docker run -d \
--name postgres \
--network host \
-e POSTGRES_USER=secondchain \
-e POSTGRES_PASSWORD=changeme \
-e POSTGRES_DB=secondchain \
-v pgdata:/var/lib/postgresql/data \
postgres:17
</syntaxhighlight>

== 1.3. Настройка проброса заголовка в B2B ==
[[Файл:Дополнительный заголовок в конфигурации b2b.png|мини]]
Мастер-домен → приложение '''Настройки'''. В конфигурации, в нодах B2B добавить проброс заголовка <code>X-Robot-Session</code>:

<syntaxhighlight lang="json">
"fwd_headers": ["X-Robot-Session"],
</syntaxhighlight>

Активировать новую конфигурацию.

== 1.4. Создать абонента для робота ==
[[Файл:Абонент для робота.png|мини|215x215пкс]]
Проектный домен → приложение '''Настройки'''. Создать нового абонента, под которым будет регистрироваться робот.

Робот будет использовать данную учетную запись для приема звонков.

== 1.5. Создать канал интеграции для робота ==
[[Файл:Канал интеграции для робота.png|мини|214x214пкс]]
Проектный домен → приложение '''Настройки'''. Создать новый канал интеграции:

* '''Тип''' — Подписчик
* '''Права''' — <code>ai_admin</code>, <code>ai_voicebot_admin</code>
* '''Режим активности''' — постоянный

== 1.6. Создать движок в приложении ИИ ==
[[Файл:Движок в приложении ИИ.png|мини]]
Задать произвольные название и код. В поле '''Номер телефона''' указать внутренний номер абонента, созданного на шаге [[#1.4. Создать абонента для робота|1.4]].

'''Количество сессий''' по умолчанию = 8. Точное число зависит от оборудования, на котором размещаются сервисы робота.

= Этап 2. Установка сервисов инференса (опционально) =

Инструкция для '''Ubuntu Server 24.04'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3).

Целевая машина — сервер с GPU: '''RTX PRO 5000 (48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''.

== 2.1. Предварительные требования ==

Убедиться, что установлены драйверы NVIDIA, Docker и NVIDIA Container Toolkit:

<syntaxhighlight lang="bash">
nvidia-smi # драйвер и GPU видны
docker --version # Docker установлен
docker run --rm --gpus all ubuntu nvidia-smi # GPU проброшен в контейнер
</syntaxhighlight>

Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

=== Бюджет VRAM ===

{| class="wikitable"
! Компонент !! VRAM
|-
| ASR (T-one/Triton) || 600–800 MB
|-
| LLM (Qwen3.5-35B-A3B) || 24–48 GB (зависит от числа сессий и длины контекста)
|-
| TTS (LightTTS/CosyVoice3) || 11 GB
|}

Суммарное потребление в пике — ~36–60 GB.

'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

== 2.2. Порядок запуска ==

Модели независимы. Рекомендуемый порядок развёртывания для упрощения диагностики: '''ASR → LLM → TTS'''.

Компиляция моделей может занимать больше VRAM, чем запущенный сервис, поэтому в случае дефицита видеопамяти, рекомендуется временно отключать свеже созданные контейнеры, собирать их по одному, после чего запускать по очереди уже в собранном виде.

== 2.3. ASR (T-one на Triton Inference Server) ==

Необходимо скачать и загрузить образ контейнера, создать контейнер и дождаться сборки ML-движка. Первый запуск может проходить долго, 5-15 минут, в зависимости от оборудования. Во время первого запуска система собирает движок модели с оптимизациями под текущий GPU.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/tone-triton.tar.gz
docker load < tone-triton.tar.gz

docker run -d --name tone-triton --gpus all --restart unless-stopped \
-p 17000:8000 -p 17001:8001 -p 17002:8002 \
-v tone-engine:/models/streaming_acoustic/1 \
tone-triton:dist-trt-b32

docker logs -f tone-triton
</syntaxhighlight>

После появления данного сообщения можно считать что движок собран и переходить к следующему шагу установки:<syntaxhighlight lang="bash">
I0706 22:41:02.484518 1 grpc_server.cc:2562] "Started GRPCInferenceService at 0.0.0.0:8001"
I0706 22:41:02.484664 1 http_server.cc:4832] "Started HTTPService at 0.0.0.0:8000"
I0706 22:41:02.525792 1 http_server.cc:358] "Started Metrics Service at 0.0.0.0:8002"
</syntaxhighlight>'''Проверка:''' после старта Triton слушает gRPC (стандартно 8001) и HTTP (стандартно 8000). Потребление VRAM — '''600–800 MB'''. Статус контейнера:

<syntaxhighlight lang="bash">
docker ps | grep -i tone
</syntaxhighlight>

== 2.4. LLM (Qwen3.5-35B-A3B на vLLM) ==

Установка выполняется из Docker Hub, следующей командой:

<syntaxhighlight lang="bash">
docker run -d \
--name vllm-qwen35-moe \
--gpus all \
--ipc=host \
-v /path/to/cache:/root/.cache \
-p 16080:8000 \
vllm/vllm-openai:cu130-nightly \
--model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 \
--served-model-name qwen35-35b-a3b \
--quantization moe_wna16 \
--max-num-seqs 6 \
--max-model-len 4096 \
--kv-cache-memory 3221225472 \
--gpu-memory-utilization 0.50 \
--enable-prefix-caching \
--host 0.0.0.0 --port 8000 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--language-model-only

docker logs vllm-qwen35-moe -f
</syntaxhighlight>

'''Ключевые параметры:'''

* <code>--max-model-len 8192</code> — максимальное окно контекста в токенах.
* <code>--max-num-seqs 6</code> — максимум одновременно обрабатываемых запросов.
* <code>--gpu-memory-utilization 0.50</code> — 50% VRAM выделено под LLM.
* <code>--kv-cache-memory 3221225472</code> — 3 GiB под KV-кэш.
* <code>/path/to/cache</code> — директория хост-машины, где будет храниться кеш весов модели (24gb)

Минимальный объём VRAM для запуска — '''24 GB'''. Фактическое потребление — '''24–48 GB''' в зависимости от числа допустимых сессий (<code>--max-num-seqs</code>) и длины контекста (<code>--max-model-len</code>).

После запуска vllm скачает веса модели для запуска (24gb). После завершения запуска и загрузки весов в логах можно наблюдать следующие строки:<syntaxhighlight lang="bash">
(APIServer pid=1) INFO: Started server process [1]
(APIServer pid=1) INFO: Waiting for application startup.
(APIServer pid=1) INFO: Application startup complete.
</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:

<syntaxhighlight lang="bash">
docker logs -f vllm-qwen35-moe # ожидать "Application startup complete"

curl http://localhost:16080/v1/models

curl http://localhost:16080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen35-35b-a3b",
"messages": [{"role": "user", "content": "Привет"}],
"chat_template_kwargs": {"enable_thinking": false}
}'
</syntaxhighlight>

== 2.5. TTS (LightTTS + CosyVoice3) ==

По аналогии с T-One, установка выполняется из образа docker-контейнера<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/lightts-weights.tar.gz
docker load -i lighttts-weights.tar.gz

docker run -d --gpus all -p 8080:8080 --shm-size 4g \
--restart unless-stopped --name lighttts \
-v lighttts-engines:/opt/models/Fun-CosyVoice3-0.5B \
lighttts/light-tts:weights

docker logs -f lighttts
</syntaxhighlight>После запуска сервис скомпилирует веса, по аналогии с T-One. После завершения подготовки в логах будут следующие строки:<syntaxhighlight lang="bash">
///////////////////////
</syntaxhighlight>'''Проверка:''' TTS слушает порт '''8080''', потребление VRAM — '''11 GB''':

<syntaxhighlight lang="bash">
docker ps | grep lighttts
nvidia-smi
</syntaxhighlight>

== 2.6. Итоговая карта портов ==

{| class="wikitable"
! Сервис !! Контейнер !! Внешний порт
|-
| ASR (Triton HTTP) || <code>tone-triton</code> || 8000
|-
| ASR (Triton gRPC) || <code>tone-triton</code> || 8001
|-
| LLM (vLLM) || <code>vllm-qwen35-moe</code> || 16080
|-
| TTS (LightTTS) || <code>lighttts</code> || 8080
|}

== 2.7. Финальная проверка стека ==

<syntaxhighlight lang="bash">
docker ps # все три контейнера (ASR / vLLM / TTS) в статусе Up
</syntaxhighlight>

После проверки выполняется подключение пайплайна PjSIP → VAD → ASR → LLM → TTS с указанием эндпоинтов в конфигурации: ASR — <code>:8000/:8001</code>, LLM — <code>:16080</code>, TTS — <code>:8080</code>.

= Этап 3. Настройка .env =

Базовые параметры:

<syntaxhighlight lang="bash">
EXTERNAL_TEMPLATES_URL=https://[адрес инстанса эры]/rest/v1/model/ai/robot
EXTERNAL_TEMPLATES_TOKEN=[локальный токен из шага 1.5]
</syntaxhighlight>

А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота|1.4]]).



= Этап 4. Запуск контейнера и создание робота =

== 4.1. Загрузка образа и запуск контейнера ==

Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

<syntaxhighlight lang="bash">
wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz
docker load -i secondchain-1.0.3a-cpu.tar.gz
mkdir -p ./logs
docker run -d --name secondchain \
--network host \
--env-file .env \
--restart unless-stopped \
-v secondchain-data:/data \
-v ./logs:/app/logs \
secondchain:1.0.3a-cpu

docker logs secondchain -f
</syntaxhighlight>

Когда сервис загрузится и проинициализируется, в консоли появится сообщение:

<pre>
Registration: OK (code=200) [pjsip.account]
[info ] SIP client registered successfully [voip.sip]
[info ] VoIP health monitor started [src.api.app]
[info ] SecondChain started successfully [src.api.app]
[info ] Application startup complete. [uvicorn.error]
[info ] Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
</pre>

== 4.2. Создать робота в приложении ИИ ==

=== Загрузить голос ===

Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Для быстрого старта можно импортировать демо-голос (импорт + загрузка файла).

=== Создать инструменты ===

Базовые инструменты работы со звонком.

==== drop_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>drop_call</code>
|-
| Код || <code>drop_call</code>
|-
| description || Завершение звонка по инициативе робота
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>drop</code>
|-
| enabled || Да
|}

==== transfer_call ====

{| class="wikitable"
! Параметр !! Значение
|-
| Имя || <code>transfer_call</code>
|-
| Код || <code>transfer_call</code>
|-
| description || Перевод звонка на оператора
|-
| toolType || <code>callManagement</code>
|-
| callAction || <code>transfer</code>
|-
| transferDestination || Короткий номер для перевода звонков (например, номер очереди)
|-
| enabled || Да
|}

=== Создать робота ===

Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

== 4.3. Проверить создание пользователя ==

После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.

== 4.4. Проверить и установить статус пользователя ==

Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.

== 4.5. Добавить робота в очередь ==

Приложение '''Администратор контакт-центра''' → добавить робота как участника очереди. '''Тип участника''' = Робот. В остальном настройки идентичны.

== 4.6. Осуществить звонок ==

Настройка завершена. Можно совершить звонок в очередь и протестировать работу робота.

[[Category:Эра]]
[[Category:Голосовой робот]]
[[Category:Развёртывание]]