Установка сервисов голосового робота - История изменений

AZykov: /* 4.1. Загрузка образа и запуск контейнера */

2026-07-08T15:20:22Z

4.1. Загрузка образа и запуск контейнера

← Предыдущая версия		Версия от 15:20, 8 июля 2026
Строка 532:		Строка 532:

	А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL\|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота\|1.4]]).		А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL\|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота\|1.4]]).
	= Этап 4. Запуск контейнера и создание робота =		= Этап 4. Запуск контейнера secondchain и создание робота =

	== 4.1. Загрузка образа и запуск контейнера ==		== 4.1. Загрузка образа и запуск контейнера ==

	Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.		Скопировать на сервер архив с образом контейнера и файл <code>.env</code> в одну директорию.

			Ссылка на загрузку контейнера secondchain предоставляется менеджером по запросу.

	<syntaxhighlight lang="bash">		<syntaxhighlight lang="bash">
	~~wget https://ai02.era-platform.ru/secondchain-1.0.3a-cpu.tar.gz~~
	docker load -i secondchain~~-1.0.3a-cpu~~.tar.gz		docker load -i secondchain.tar.gz
	mkdir -p ./logs		mkdir -p ./logs
	docker run -d --name secondchain \		docker run -d --name secondchain \

AZykov: /* Микросервисы робота и их нагрузка */

2026-07-07T12:19:35Z

Микросервисы робота и их нагрузка

← Предыдущая версия		Версия от 12:19, 7 июля 2026
Строка 20:		Строка 20:
	= Требования к оборудованию, нагрузка и мастштабирование =		= Требования к оборудованию, нагрузка и мастштабирование =

	=== Микросервисы робота и их ~~нагрузка~~ ===		=== Микросервисы робота и их ресурсы ===
	Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.		Робот функционирует на базе 4 микросервисов, каждый из которых может быть вынесен на отдельный сервер, или исполняться на общем сервере.
	{\| class="wikitable"		{\| class="wikitable"

AZykov: /* Общая информация */

2026-07-07T12:19:09Z

Общая информация

← Предыдущая версия		Версия от 12:19, 7 июля 2026
Строка 1:		Строка 1:
	= Общая информация =		= Общая информация =
	[[Файл:Архитектура голосового робота.png\|центр\|безрамки\|763x763пкс]]		[[Файл:Архитектура голосового робота.png\|центр\|безрамки\|763x763пкс]]
	~~Пошаговая инструкция по развёртыванию голосового робота. Процесс разбит на четыре этапа:~~

	~~# '''[[#Этап 1. Подготовка\|Подготовка]]''' — Docker, PostgreSQL, настройки в системе телефонии.~~
	# '''[[#Этап 2. Установка сервисов инференса (опционально)\|Установка сервисов инференса]]''' — ASR, LLM, TTS. ''Опционально, только для развёртывания на собственном сервере с GPU.''
	~~# '''[[#Этап 3. Настройка .env\|Настройка .env]]''' — параметры подключения.~~
	# '''[[#Этап 4. Запуск контейнера и создание робота\|Запуск контейнера и создание робота]]''' — старт сервиса и конфигурация робота.

	= Глоссарий =		= Глоссарий =

AZykov: /* Глоссарий */

2026-07-07T12:18:08Z

Глоссарий

← Предыдущая версия		Версия от 12:18, 7 июля 2026
Строка 9:		Строка 9:

	= Глоссарий =		= Глоссарий =
	'''Модель''' — обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре:VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).

	'''Веса''' ~~— числовые~~ параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.		* '''Модель.''' Обученная нейросеть, задающая соответствие между входом и выходом (текст -> текст, звук -> текст и т.д.). Модель определяется архитектурой и набором весов, полученных при обучении. В стеке робота их четыре: VAD (детекция голосовой активности), ASR (распознавание речи), LLM (генерация ответа), TTS (синтез речи).
			* '''Веса.''' Числовые параметры модели, полученные при обучении. Именно они хранятся в файлах модели и загружаются в VRAM при старте. «Загрузка весов» в логах vLLM — это чтение этих файлов с диска в память GPU.
	'''Инференс''' ~~— использование~~ готовой модели для получения ответа на ~~новый вход~~ (~~«прогон»~~ данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.		* '''Инференс.''' Использование готовой модели для получения ответа на некий набор входных данных ("прогон" данных через веса). В отличие от обучения, веса не меняются. Сервисы инференса в статье — Triton, vLLM, LightTTS.
			* '''LLM.''' Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.
	'''LLM''' — Большая языковая модель. Класс моделей text-to-text, обученных на больших объемах мультиязычных и мультидоменных данных.		* '''Triton''' (NVIDIA Triton Inference Server). Сервер инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.
			* '''TensorRT.''' Библиотека NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.
	'''Triton''' (NVIDIA Triton Inference Server) ~~— сервер~~ инференса от NVIDIA, обслуживающий модели по gRPC и HTTP. В стеке на нём крутится ASR-модель T-one.		* '''vLLM.''' Движок инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.
			* '''nvidia-smi''' (NVIDIA System Management Interface). Консольная утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).
	'''TensorRT''' ~~— библиотека~~ NVIDIA для оптимизации моделей под конкретный GPU: она компилирует модель в специализированный «движок» ради ускорения инференса. Сборка такого движка — разовая операция под железо, поэтому в LightTTS и T-One Triton она выполняется на первой фазе и коммитится в образ.		* '''KV-Cache''' (кэш ключей и значений). Память, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.
			* '''LightTTS.''' Движок инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.
	'''vLLM''' ~~— движок~~ инференса для больших языковых моделей (LLM), оптимизированный на пропускную способность и эффективную работу с памятью. Предоставляет OpenAI-совместимый API.		* '''Промпт.''' Инструкция, которой следует большая языковая модель.
			* '''Токен.''' В ''контексте LLM'' это единица текста, которой оперирует модель (примерно часть слова / слово / знак). В токенах измеряются окно контекста и объём генерации.
	'''nvidia-smi''' (NVIDIA System Management Interface) ~~— консольная~~ утилита для просмотра состояния GPU: модель карты, версия драйвера, загрузка, потребление VRAM, запущенные процессы. Используется для проверки, что драйвер установлен и GPU виден (в т.ч. изнутри контейнера).		* '''Окно контекста.''' Максимальное количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.
			* '''Compute.''' Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя. Измеряется в GFLOP/TFLOP (операциях в секунду)
	'''KV-Cache''' (кэш ключей и значений) ~~— память~~, где LLM хранит промежуточные представления уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового токена. Ускоряет генерацию ценой VRAM. В конфиге ограничен параметром <code>--kv-cache-memory</code> (3 GiB). Растёт с числом сессий и длиной контекста — поэтому его размер критичен на картах с малым запасом VRAM.

	'''LightTTS''' ~~— движок~~ инференса для TTS-моделей (синтеза речи). В стеке запускает модель CosyVoice3, слушает порт 8080.

	'''Промпт''' — Инструкция, которой следует большая языковая модель.

	'''Токен''' —В ''контексте LLM'' — единица текста, которой оперирует модель (примерно часть слова / слово / знак). ~~Именно в~~ токенах измеряются окно контекста и объём генерации.

	'''Окно контекста''' ~~— максимальное~~ количество токенов, которое LLM может учитывать за один запрос (вход + генерируемый ответ вместе). Чем больше окно, тем больше VRAM уходит под KV-Cache, поэтому на картах с ограниченным объёмом его сокращают.

	'''Compute''' — Вычислительные ресурсы GPU. Абстрактный ресурс видеоускорителя~~, аналог CPU Time при обычных расчетах~~. Измеряется в GFLOP/TFLOP (операциях в секунду)

	= Требования к оборудованию, нагрузка и мастштабирование =		= Требования к оборудованию, нагрузка и мастштабирование =
Строка 332:		Строка 320:
	Инструкция написана для Unbuntu 24.04.		Инструкция написана для Unbuntu 24.04.

	При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.		При написании и проверке данной инструкции использовался сервер с RTX PRO 5000 48gb.

	== 2.1. Предварительные требования ==		== 2.1. Предварительные требования ==
Строка 425:		Строка 413:
	</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.		</syntaxhighlight>Как только они появятся, можно переходить к следующему шагу.

	'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени:		'''Проверка:''' после загрузки весов проверить OpenAI-совместимый эндпоинт на порту '''16080.''' Первый запрос к модели будет занимать достаточно много времени (холодный старт):

	<syntaxhighlight lang="bash">		<syntaxhighlight lang="bash">
Строка 642:		Строка 630:

	Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.		Импортировать шаблон (<code>Роботы.json</code>). На вкладке '''Инструкции''' изучить рекомендуемый шаблон системного промпта, а также промпта пост-обработки звонка.

			Системный промпт задаёт поведение робота, а промпт пост-обработки позволяет после окончания диалога проанализировать его и сохранить в сессии бизнес-результат (удобнее всего, в формате JSON).

			При составлении собственного системного важным эффектом является "внимательность" (attention) больших языковых моделей. Они более строго следуют инструкциям, написанным в начале и конце промпта. Поэтому данные области рекомендуется оставлять для строгих ограничений.

			Для построения надежных роботов с повторяемой эффективностью, рекомендуется использовать подход с описанием строгих шагов диалога.

	== 4.3. Проверить создание пользователя ==		== 4.3. Проверить создание пользователя ==

AZykov: /* 4.2. Создать робота в приложении ИИ */

2026-07-07T12:08:47Z

4.2. Создать робота в приложении ИИ

← Предыдущая версия		Версия от 12:08, 7 июля 2026
Строка 492:		Строка 492:

	= Этап 3. Настройка .env =		= Этап 3. Настройка .env =
			Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

			[[:Файл:Демо ресурсы для голосового робота.zip]]

			Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

	Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:		Необходимо переименовать файл example.env в .env и изменить в нём следующие параметры:
Строка 546:		Строка 551:

	А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL\|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота\|1.4]]).		А также настройки Postgres (из шага [[#1.2. Создать БД в PostgreSQL\|1.2]]) и подключения SIP к учётной записи абонента (из шага [[#1.4. Создать абонента для робота\|1.4]]).

	~~<!-- Плейсхолдер под подробное описание .env -->~~

	= Этап 4. Запуск контейнера и создание робота =		= Этап 4. Запуск контейнера и создание робота =

Строка 582:		Строка 584:

	== 4.2. Создать робота в приложении ИИ ==		== 4.2. Создать робота в приложении ИИ ==
			Для упрощения работы с настройкой робота, нами был подготовлен набор демо-ресурсов:

			[[:Файл:Демо ресурсы для голосового робота.zip]]

			Он включает файл голоса, example.env и файлы для импорта в разделы приложения ИИ с готовым настроенным роботом.

	=== Загрузить голос ===		=== Загрузить голос ===

AZykov: /* Запуск робота с использованием облачных сервисов инференса */

2026-07-07T12:02:59Z

Запуск робота с использованием облачных сервисов инференса

← Предыдущая версия		Версия от 12:02, 7 июля 2026
Строка 232:		Строка 232:
	* Возможность отключения режима thinking/reasoning;		* Возможность отключения режима thinking/reasoning;
	* Скорость генерации ответа >30 токенов/сек.		* Скорость генерации ответа >30 токенов/сек.
			<blockquote>Популярные подписки на современные модели по типу "Token Plan", которые предлагают использование с ограничением на количество запросов, а не тарификацию по токенам, зачастую непригодны для использования с роботом. Данные подписки используются в агентских системах, где время отклика не является целевой метрикой, а запросы инференса с таких подписок, как правило обрабатываются облачными сервисами с меньшим приоритетом.</blockquote>При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:
	При использовании всех облачных сервисов инференса, локально разворачивается только главный контейнер - secondchain. Рекомендуемые требования к серверу для такой среды:

	4x CPU		4x CPU
Строка 329:		Строка 328:


	= Этап 2. Установка сервисов инференса (~~опционально~~) =		= Этап 2. Установка сервисов инференса (только для серверов с GPU) =

	Инструкция написана для Unbuntu 24.04.		Инструкция написана для Unbuntu 24.04.
Строка 585:		Строка 584:

	=== Загрузить голос ===		=== Загрузить голос ===
			[[Файл:Голос робота в приложении ИИ.png\|мини]]
	Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).		Необходим аудиофайл <code>.mp3</code> или <code>.wav</code> длительностью ~10 секунд, без лишних шумов и эхо. При загрузке указать точную транскрипцию произнесённого текста (со знаками препинания).

Строка 591:		Строка 590:

	=== Создать инструменты ===		=== Создать инструменты ===
			[[Файл:Инструменты робота.png\|мини]]
	Базовые инструменты работы со звонком.		Базовые инструменты работы со звонком.

Строка 631:		Строка 630:
	\| enabled \|\| Да		\| enabled \|\| Да
	\|}		\|}
			[[Файл:Пример робота в приложении ИИ.png\|мини]]

	=== Создать робота ===		=== Создать робота ===
Строка 639:		Строка 639:

	После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.		После создания робота должен автоматически создаться пользователь <code>Робот_имяРобота</code>.
			[[Файл:Статус робота.png\|мини]]

	== 4.4. Проверить и установить статус пользователя ==		== 4.4. Проверить и установить статус пользователя ==

	Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.		Приложение '''Супервизор контакт-центра''' → раздел '''Операторы → Текущие статусы'''. Убрать фильтры, найти пользователя робота и убедиться, что у него установлен статус '''Готов'''. При необходимости установить этот статус.
			[[Файл:Робот в очереди.png\|мини]]

	== 4.5. Добавить робота в очередь ==		== 4.5. Добавить робота в очередь ==

AZykov в 11:54, 7 июля 2026

2026-07-07T11:54:17Z

← Предыдущая версия		Версия от 11:54, 7 июля 2026
Строка 224:		Строка 224:
	* LightTTS API формат для генерации речи		* LightTTS API формат для генерации речи

	Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей.		Часто, экономически эффективным может быть использование только облачной LLM, так как она требует большого объема VRAM и дорогих ускорителей. При этом остальные модели запускаются локально, на более простой карте.

	При выборе облачной LLM критичными показателями являются следующие:		При выборе облачной LLM критичными показателями являются следующие:

AZykov: /* Запуск сервиса робота с использованием облачных сервисов инференса */

2026-07-07T11:53:32Z

Запуск сервиса робота с использованием облачных сервисов инференса

← Предыдущая версия		Версия от 11:53, 7 июля 2026
Строка 215:		Строка 215:
	Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).		Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).

	=== Запуск ~~сервиса~~ робота с использованием облачных сервисов инференса ===		=== Запуск робота с использованием облачных сервисов инференса ===
	В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.		В случае, когда проектные требования позволяют использовать облачную инфраструктуру, нет необходимости полного разворота всех сервисов локально. Можно использовать ресурсы облачных провайдеров и ресурсы, предоставляемые командой платформы.

AZykov: /* Масштабирование сервиса */

2026-07-07T11:53:18Z

Масштабирование сервиса

@@ Строка 123: / Строка 123: @@
 === Приблизительный расчет требуемых мощностей ===
-Минимальной конфигурацией является следующая:
+Рекомендуемой конфигурацией является следующая:
 CPU 8x
@@ Строка 202: / Строка 202: @@
 Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.
-'''Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''
+'''Объем оперативной памяти не может быть меньше, чем 32gb, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''
 === Масштабирование сервиса ===
@@ Строка 214: / Строка 214: @@
 Отдельно стоит упомянуть вынесение на отдельный сервер ASR. Данный компонент работает в потоковом режиме по протоколу gRPC, и не рекомендуется вынесение его на другие площадки с высокой задержкой. Остальные компоненты (за исключением VAD, который работает на CPU в составе главного сервиса secondchain), не чувствительны к дополнительным задержкам (в рамках разумного, до 50-70мс).
 __TOC__

AZykov: /* Приблизительный расчет требуемых мощностей */

2026-07-07T11:39:18Z

Приблизительный расчет требуемых мощностей

← Предыдущая версия		Версия от 11:39, 7 июля 2026
Строка 144:		Строка 144:
	\|1.34TB/s		\|1.34TB/s
	\|516 TOPS		\|516 TOPS
	\|40~~-50~~		\|30-40
	\|-		\|-
	\|RTX PRO 6000		\|RTX PRO 6000
Строка 196:		Строка 196:
	\|}		\|}

			При использовании конфигураций из двух карт с небольшим объемом VRAM (24, 32gb) будет происходить проблема дисбаланса:

			Одну из карт будет полностью занимать LLM (22gb базовых весов), а другую карту будут занимать другие модели. При этом в случае 2x24gb VRAM, для LLM будет оставаться крайне мало памяти на активные сессии, что будет являться главным ограничителем. Использовать память или compute соседней карты невозможно без NVLINK, а в потребительских картах он отсутствует.

			Таким образом вариант 2x4090/24 может использовать только для ненагруженных систем - демо стендов или сред разработки. Для такой конфигурации возможно заменить вторую карту на более простую, например 4080, так как TTS + ASR не реализуют 24gb vram.

			'''Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.'''

	=== Масштабирование сервиса ===		=== Масштабирование сервиса ===
Строка 298:		Строка 305:
	= Этап 2. Установка сервисов инференса (опционально) =		= Этап 2. Установка сервисов инференса (опционально) =

	Инструкция для ~~'''Ubuntu Server~~ 24.04~~'''. Стек: ASR (T-one/Triton) → LLM (Qwen3.5-35B-A3B на vLLM) → TTS (LightTTS + CosyVoice3)~~.		Инструкция написана для Unbuntu 24.04.

	~~Целевая машина —~~ сервер с ~~GPU: '''~~RTX PRO 5000 ~~(48GB)''' или '''RTX PRO 6000 Blackwell (96GB)'''~~.		При написании данной инструкции использовался сервер с RTX PRO 5000 48gb.

	== 2.1. Предварительные требования ==		== 2.1. Предварительные требования ==
Строка 313:		Строка 320:

	Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.		Если последняя команда не отображает GPU, требуется установить NVIDIA Container Toolkit и перезапустить Docker.

	~~=== Бюджет VRAM ===~~

	~~{\| class="wikitable"~~
	~~! Компонент !! VRAM~~
	\|-
	~~\| ASR (T-one/Triton) \|\| 600–800 MB~~
	\|-
	~~\| LLM (Qwen3.5-35B-A3B) \|\| 24–48 GB (зависит от числа сессий и длины контекста)~~
	\|-
	~~\| TTS (LightTTS/CosyVoice3) \|\| 10 GB~~
	\|}

	~~Суммарное потребление в пике — ~36–60 GB.~~

	'''RTX PRO 6000 (96GB):''' объёма достаточно с большим запасом. Допустимо использование максимального числа сессий и длинного контекста.

	'''RTX PRO 5000 (48GB):''' запас минимальный. Фиксированная сумма ASR (~0.8 GB) и TTS (11 GB) составляет ~12 GB, на LLM остаётся ~36 GB. Это покрывает только нижнюю границу диапазона LLM (24 GB). Требуется ограничение параметров <code>--max-num-seqs</code> и <code>--max-model-len</code> во избежание ошибки OOM. Значение <code>--gpu-memory-utilization 0.50</code> (~24 GB на карте 48GB) для данного сценария допустимо при условии, что ASR и TTS инициализированы до старта LLM.

	Объем оперативной памяти не может быть меньше, чем VRAM, так как в процессе запуска веса моделей помещаются сначала в оперативную память, и только затем в VRAM.

	== 2.2. Порядок запуска ==		== 2.2. Порядок запуска ==