Точность речевой аналитики: как сверить оценки ИИ с руководителем

Почему красивая оценка ещё не правильная

Отчёт речевой аналитики может выглядеть безупречно: баллы по каждому разговору, графики, рейтинг менеджеров. Но аккуратная цифра ничего не говорит о том, верно ли она поставлена. Если ИИ засчитал этап, которого не было, или снял балл за то, что ваш регламент допускает, красивый отчёт ведёт к неверным решениям.

Трудность в том, где проверяют точность. На презентации её показывают на удобных примерах: чистая запись, менеджер идёт по скрипту, клиент отвечает по сценарию. В вашем отделе разговоры другие — свои продукты, свои формулировки, свои неписаные правила.

Ошибку в оценке трудно заметить со стороны. Средний балл по отделу выглядит правдоподобно, и сомнения могут появиться, только когда менеджер придёт спорить со своей оценкой. К этому моменту на неверных цифрах уже могли построить обучение и разговоры с сотрудниками.

Как сравнить сервисы по точности ещё на этапе выбора, мы разбирали в статье «Сервис речевой аналитики: как проверить точность оценок на своих звонках до покупки — честное сравнение». Здесь — о другом: как сверить оценки ИИ с мнением руководителя и что делать с расхождениями.

Из чего складывается точность речевой аналитики

Для руководителя точность речевой аналитики — это ответ на простой вопрос: оценил бы я этот разговор так же? Если ИИ и руководитель на одних и тех же звонках ставят одинаковые оценки по одним и тем же пунктам, системе можно доверять. Если нет — нужно понять почему.

За итоговой оценкой стоят несколько слоёв, и ошибка может быть в любом из них:

• распознавание — правильно ли переведена в текст речь менеджера и клиента;
• понимание смысла — увидел ли ИИ этап, если менеджер прошёл его своими словами, а не по скрипту;
• формулировка критерия — однозначно ли описано, что считать выполнением пункта.

Последний слой легко недооценить. Даже верно распознанный и понятый разговор будет оценён неправильно, если критерий допускает два прочтения. Поэтому точность нельзя проверить один раз на чужих данных: она проверяется на ваших разговорах и по вашему регламенту.

Как OrbitAI сверяет оценки ИИ с руководителем

В OrbitAI точность проверяют на ваших разговорах, а не на удобных примерах. На старте оценки ИИ сверяют с оценками вашего руководителя на одних и тех же звонках.

Регламент готовит команда внедрения и сверяет его с вами на реальных разговорах. Если оценка расходится с мнением руководителя, разбираемся и правим критерии. Задача сверки — чтобы критерии отражали, как разговоры оценивают в вашей компании.

Разбирать расхождения помогает обоснование. У каждой оценки в OrbitAI есть обоснование по пункту регламента: видно, по какому критерию снят балл и на каком моменте разговора. Никаких «так решил ИИ» — спорный разбор можно открыть и проверить вручную.

Работа с критериями не заканчивается на старте. После запуска команда дорабатывает регламент и критерии вместе с вашим бизнесом: новые сценарии, теги и продукты подключаются по ходу работы.

Почему оценки расходятся и что правят

Расхождение между ИИ и руководителем — не провал системы, а сигнал. За ним может стоять одна из нескольких причин, и у каждой своё решение.

Найти причину помогает обоснование: по нему видно, какой пункт регламента сработал и где в разговоре это произошло. Так становится понятно, где править критерий, а где — договориться о правилах внутри компании.

Общую методику сравнения оценок нейросети и экспертов мы разбирали в статье «Результаты оценки персонала: как проверить точность нейросети против экспертов»; здесь — как такие расхождения закрываются правкой критериев регламента.

Как сделать сверку честной

Сверка даёт ответ, только если ИИ и человек оценивают одно и то же по одним правилам.

• Одни и те же звонки: руководитель оценивает те же разговоры, что и ИИ.
• Один регламент: руководитель ставит оценки по тем же пунктам, иначе сравниваются разные правила.
• Разбор каждого расхождения: с обоснованием и моментом разговора, а не на уровне «мне кажется».

Проверить, как оценки ИИ ложатся на ваши звонки, можно ещё до договора — через бесплатный анализ звонков по вашему регламенту.

Частые вопросы

Какая точность у речевой аналитики OrbitAI?

Точность проверяем на ваших разговорах, а не на удобных примерах. На старте оценки ИИ сверяют с оценками вашего руководителя на одних и тех же звонках, а при расхождении разбираются и правят критерии.

Что, если ИИ заметил то, что руководитель пропустил?

Откройте этот момент разговора: у каждой оценки есть обоснование по пункту регламента, поэтому спорный разбор можно проверить вручную. Критерий в таком случае может остаться прежним.

Почему итоговый балл совпал, а сверка всё равно нужна?

Совпадение итогового балла может скрывать расхождения в отдельных пунктах, поэтому сравнивать стоит по каждому критерию регламента.

Почему не довериться проценту точности из презентации?

Такой процент получен на чужих разговорах и по чужим критериям. Для вашего отдела важно другое — совпадают ли оценки ИИ с оценками вашего руководителя на ваших звонках, поэтому точность проверяем на ваших разговорах.