Общая информация
В рамках платформы Эра, доступно приложение Управление качеством (QM), которое позволяет проводить оценку (аудит) разговоров контакт-центра.
Процесс работы в данном приложении можно упрощенно описать следующим образом:
- Аналитик или администратор создает формы оценок и заполняет дополнительные справочники.
- При создании формы оценки, в неё заносятся параметры (поля формы). При настройке параметров, можно задавать правила проверки значений, которые могут влиять на итоговую оценку звонка. Детально этот механизм будет рассмотрен ниже
- При оценке каждого разговора, аудитор может фиксировать нарушения. При первичной настройке также необходимо заполнить справочник возможных нарушений
- Для анкеты может быть задан набор правил, которые позволяют автоматически заполнять значения параметров, или фиксировать нарушения. Правила могут быть заданы ключевыми словами, запросом к модели ИИ или блоком кода JS/TS.
- Аналитик, администратор или менеджер настраивает правила формирования выборок (генераторы выборки).
- Для каждого генератора он выбирает форму оценки и аудитора, который будет производить оценку. Генераторы могут запускаться автоматически по расписанию, или вручную пользователем.
- После запуска генератора создается определенное количество заданий на контроль для аудитора. Каждое задание соответствует одному разговору.
- Аудитор берет каждое отдельное задание в работу
- Перед ручным заполнением формы, он может нажать кнопку "Выполнить", которая запустит настроенные для формы правила автоматического заполнения.
- Аудитору доступна запись разговора в стерео-режиме, удобный плеер, детальные параметры вызова, а также стенограмма разговора (если используется функционал стенографирования).
- Он фиксирует найденные нарушения (из справочника нарушений), а также заполняет форму оценки, разработанную на первом шаге.
- При нажатии на кнопку "Рассчитать", система обновит итоговую оценку разговора, в соответствии с значениями, выбранными аудитором.
- Руководитель изучает статистику по нарушениям и оценкам
- Руководителю доступен набор отчетов, отражающий оценки и нарушения, выявленные аудитором.
- Кроме отчетов, ему также доступны все проведенные оценки, результаты которых можно посмотреть в разделе "Задания на контроль", подраздел "Завершенные".
В рамках данной статьи будут рассмотрены возможности по созданию форм оценки.
Свойства формы оценки
Форма оценки содержит следующий набор свойств:
| Свойство | Комментарий |
|---|---|
| Имя | Название формы. Используется при выборе из списка |
| Код для ссылок | Код для ссылок. Удобно при обращении к форме из кода, и в некоторых параметрах |
| Ручная обработка | Признак того, что форма подразумевает ручную обработку аудитором |
| Автоматическая обработка | Признак того, что форма подразумевает автоматическую обрабокту правилами |
| Параметры | Набор параметров формы. Определяет состав полей формы. Порядок параметров определяет очередность полей на форме, если для полей в параметрах не задано значение очередности |
| Правила | Набор правил автоматического заполнения формы (или фиксации нарушений). |
| Код предобработки | Блок для произвольного кода, позволяющий произвести манипуляции с данными формы перед началом работы с ней. |
| Код постобработки | Блок для произвольного кода, позволяющий дополнительно обработать итоговую оценку после её расчета. Требует возврата значения оценки. |
| Базовая оценка | Базовое значение оценки, от которого она будет изменяться при вводе значений параметров аудитором. Например, может использоваться базовая оценка 0, а параметры будут добавлять баллы, либо использоваться 100, а параметры будут вычитать баллы. |
Как очевидно из описания последнего поля, при работе с формами используется балльная система. Каждое задание для аудитора будет иметь базовую оценку, а результаты его работы будут влиять на неё. Степень влияния можно тонко настраивать, о чем будет описано ниже.
Параметры оценки
Параметры оценки - это объекты приложения QM, с помощью которых задаются критерии оценки разговоров. Параметр не привязан к какой-то одной форме оценок, в каждой форме набор параметров выбирается из общего списка.
Сам по себе параметр оценки может состоять из неограниченного набора полей. Каждое поле выводится на форму как отдельная область для ввода данных, группировка полей внутри параметра является скорее логической. Даже визуальное разделение полей в форме оценки осуществляется параметрами самих полей, а не их принадлежностью к параметрам.
Каждое поле определяется следующим набором свойств:
| Свойство | Комментарий |
|---|---|
| Имя | Системное имя поля, используется при обращении к результатам анкеты из кода |
| Заголовок | Заголовок поля, видимый пользователем |
| Тип данных | Тип данных значения, вводимого пользователем в поле. Влияет на таблицу значений оценок |
| Обязательное | Признак обязательности поля |
| Множественное | Признак включения поддержки множественного ввода данных указанного типа (опционально) |
| Показывать в таблице | Отображать поле в реестре заданий на оценку |
| Показывать в карточке | Отображать поле в форме оценки |
| Очередность | Определяет порядок отображения полей на форме (опционально) |
| Имя вкладки | Задает вкладку для отображения поля (опционально) |
| Имя группы | Задает группу на вкладке для отображения поля (опционально) |
| Значения оценок | Массив правил проверки значения поля и степени их влияния на итоговую оценку |
| Код расчета значения | Поле для произвольного кода, позволяющее задать собственный код итогового значения оценки |
Группировка полей по вкладкам и группам работает аналогично с данным функционалом при разработке классов.
В качестве типа данных может быть выбран любой тип, доступный в платформе. При необходимости, можно создать собственный справочник или перечисление. Кроме того, в приложении QM доступен следующий набор стандартных перечислений:
| Полное название | Содержание | Комментарий |
|---|---|---|
| qm/ConfidenceLevel | 50%, 80%, 85%, 90%, 95%, 99% | Уровень уверенности |
| qm/ErrorMargin | 1%, 2%, 3%, 4%, 5%, 6%, 7%, 8%, 9%, 10% | Допуск ошибки |
| qm/ScoreFive | Плохо (1), Нормально (2), Хорошо (3) | Трехуровневая оценка |
| qm/ScoreThree | Ужасно (1), Плохо (2), Нормально (3), Хорошо (4), Отлично (5) | Пятиуровневая оценка |
Значения параметров оценки
Значения оценок это коллекция правил, которые позволяют задать степень влияния введенного значения параметра на итоговую оценку всего звонка.
Каждое правило состоит из двух свойств:
- Значение - Тип данных зависит от типа данных параметра
- Оценка - дельта, применяемая к итоговой оценке
Таким образом, логика расчета следующая:
- Если для определенного значения выбрана оценка 0, то это значение не изменит итоговую оценку
- Если для определенного значения выбрана оценка 10, то это увеличит итоговую оценку на 10
- Если для опредленного значения выбрана оценка -10, то это уменьшит итоговую оценку на 10
На скриншотах показаны примеры настройки значений для справочника и чекбокса (булево).
Расчет итоговой оценки
Итоговая оценка формы считается по следующей формуле:
Базовая оценка + Сумма всех найденных значений оценок
Если в каких-либо параметрах указаны значения, для которых не указана степень влияния на итоговую оценку, то будет использовано значение 0.
При необходимости, на общую оценку можно повлиять с помощью кода пост-обработки в свойствах формы. С помощью пост-обработки можно учесть в итоговой оценке параметры, которые не может оценить аудитор, произвести какие-либо операции над оценкой, или даже произвести вызов сервиса (например, для получения дополнительных данных из внешней системы).
Правила оценки
Правила оценки позволяют автоматически заполнять данными параметры оценки и фиксировать нарушения.
Правило оценки задается следующим набором свойств:
| Свойство | Комментарий |
|---|---|
| Имя | Название правила, используется при выборе правил из списка |
| Свойство | Имя (системное) параметра, в который необходимо сохранить результат исполнения правила |
| Нарушение | Нарушение для автоматической фиксации в случае срабатывания правила (опционально) |
| Тип | Тип правила:
|
| Источник | Тип стенограммы, который будет использоваться при работе правила:
|
| Промпт | Только при типе правила "Запрос к ИИ". Текстовое поле для ввода запроса к модели |
| Ключевые слова | Только при типе правила "Ключевое слово". Набор ключевых слов для поиска в стенограмме. |
| Фрагмент кода | Только при типе правила "Фрагмент кода". Поле для ввода произвольного кода. |
| Бот GPT | Только при типе правила "Запрос к ИИ". Выбирается бот GPT из приложения ИИ, который будет обрабатывать запрос правила. |
Доступно три типа правил:
- Ключевое слово - поиск ключевых слов в стенограмме разговора. Если найдены вхождения - правило срабатывает
- Запрос к ИИ - обработка стенограммы разговора с помощью LLM (большой языковой модели). Результат исполнения модели будет сохранен в параметр оценки, и если он не пустой, то будет зафиксировано нарушение.
- Фрагмент кода - произвольный код, позволяющий заполнить параметр оценки данными
Правила оценки исполняются при нажатии аудитором кнопки "Выполнить" в задании на контроль.
Для работы типа правил с запросом к ИИ, в платформе должна быть настроена функциональность ИИ и создан бот, который будет обрабатывать запросы для аудита. Детально, настройка ИИ рассмотрена в соответствующей статье.
При настройке бота, рекомендуется задать ему общий системный промпт, без конкретных задач. А непосредственно задача будет описываться в правиле.
Пример системного промпта бота:
Ты являешься службой анализа работы оператора контакт-центра. Ты должен выполнять анализ по запросам и возвращать значение результата. Ты не должен выводить какой-либо дополнительный текст, или оборачивать результат анализа в JSON или какие-либо другие форматы.
Пример промпта для правила:
Тебе будет передана транскрипция звонка в контакт центр. Будет передана полная транскрипция диалога между оператором и абонентом. Сторона A это абонент. Сторона B это оператор.
Если речь оператора была профессиональной и не содержала слов-паразитов, просторечий и т.д., верни "Профессиональная речь". Если в речи оператора присутстовали отдельные просторечные слова - верни "Обнаружены отдельные неформальные слова". Если речь оператора была очень неформальной - верни "Обнаружена неформальная речь".
Транскрипция:
Транскрипиця разговора будет конкатенирована к тексту промпта правила через перенос строки. Таким образом рекомендуется разметить начало транскрипции.