Почему «так решил ИИ» — плохой ответ
На презентации речевая аналитика может выглядеть как магия: загрузили звонок — получили балл, график и рейтинг менеджеров. Вопрос «а почему здесь шесть из десяти» повисает в воздухе. Ответ сводится к тому, что так посчитала модель.
Для руководителя отдела продаж такой балл бесполезен. С ним нельзя прийти к менеджеру: сотрудник спросит, за что сняли, и разговор превратится в спор мнений. Нельзя и проверить, не ошиблась ли система: непонятно, что именно сверять.
«Речевая аналитика превращает каждый разговор с клиентом в данные: видно, где теряются сделки и что менять в скриптах.»
Непрозрачная оценка быстро теряет доверие. Менеджеры перестают воспринимать её всерьёз, руководитель снова слушает звонки сам, и деньги на аналитику уходят впустую. Поэтому вопрос не в том, умеет ли ИИ ставить баллы, а в том, можно ли каждый балл объяснить.
Из чего складывается оценка
Оценка звонка — это не одно число, а итог проверок по пунктам. Чтобы её можно было объяснить, у неё должны быть три опоры.
- Регламент. Список критериев, по которым оценивается разговор: этапы, обязательные действия, работа с возражениями. Без него балл ни к чему не привязан.
- Шкала. Правило, по которому из пунктов получается итоговый балл.
- Момент разговора. Место в разговоре, на котором основан вывод по пункту, — чтобы его можно было найти и перепроверить.
Если одной опоры нет, оценка превращается в мнение — и спорить с ним нечем.
Как ИИ оценивает звонки в OrbitAI: от регламента к баллу
Оценка начинается не с модели, а с ваших правил. Регламент, критерии и теги готовит команда внедрения: на старте собирает ваши скрипты и стандарты и переводит их в критерии. Критерии, теги и шкала оценки собираются под вашу отрасль и вашу компанию, а готовый шаблон — только отправная точка.
Дальше ИИ понимает разговор целиком: был ли этап, обработано ли возражение, как менялось настроение клиента. Поэтому, если регламент не требует дословной фразы, этап засчитывается по смыслу сказанного, а не по наличию слова из словаря. Подробнее о том, чем смысловой анализ отличается от поиска по словам, — в статье об анализе звонков нейросетью.
Результат — разбор, в котором видно, как устроена оценка:
| Элемент разбора | Что он объясняет |
|---|---|
| Оценка по регламенту | Итог разговора по вашим критериям и вашей шкале |
| Обоснование по пункту регламента | По какому критерию снят балл и на каком моменте разговора |
| Пропущенные этапы | Какие этапы регламента менеджер не прошёл |
| Теги | Отметки по вашему списку тегов: например, продукты, темы обращений, причины отказа |
| Эмоция клиента с таймкодом | Где изменилось настроение клиента |
| Точка роста | Что улучшить — с готовой формулировкой |
По каждому разговору есть оценка, плюсы, минусы и рекомендации. Сотрудник видит, что исправить, руководитель — с чем идти на встречу один на один.
Все разговоры в подключённых каналах оцениваются по единым критериям вашего регламента, а служебные звонки исключаются из оценки.
Что делать со спорной оценкой
Даже прозрачная оценка иногда вызывает вопросы. Менеджер уверен, что этап был, а система его не засчитала. Руководитель считает звонок хорошим, а балл низкий.
В OrbitAI спорный разбор можно открыть и проверить вручную. Обоснование указывает на пункт регламента и момент разговора, поэтому проверять есть что: найти этот момент в разговоре, прочитать критерий и решить, кто прав.
Если оценка расходится с мнением руководителя, команда разбирается и правит критерии. Так спор о конкретном звонке становится поводом уточнить регламент, а не причиной перестать доверять системе. На старте оценки ИИ сверяют с оценками вашего руководителя на одних и тех же звонках — как устроена такая сверка, рассказано в статье о точности речевой аналитики.
Как проверить прозрачность оценки у поставщика
Узнать, как ИИ оценивает звонки у конкретного поставщика, можно ещё до договора. Попросите показать разбор и задайте вопросы.
- По каким критериям выставлен балл — по вашему регламенту или по общему шаблону?
- Видно ли, по какому пункту снят балл?
- Указан ли момент разговора, на котором основан вывод?
- Засчитывается ли этап, если менеджер сказал то же самое своими словами?
- Можно ли открыть спорный разбор и проверить его вручную?
- Что происходит, если оценка расходится с мнением руководителя?
Лучше всего задавать эти вопросы на своих данных. OrbitAI делает бесплатный анализ ваших звонков по вашему регламенту — на нём видно, как обоснован каждый балл.
Частые вопросы
По какому критерию снят балл?
Это видно в обосновании: у каждой оценки оно привязано к пункту вашего регламента.
Можно ли найти момент разговора, на котором основан вывод?
Да. Обоснование указывает пункт регламента и момент разговора, а спорный разбор можно открыть и проверить вручную.
Что ещё, кроме балла, есть в разборе звонка?
Пропущенные этапы, теги, эмоция клиента с таймкодом и точка роста с готовой формулировкой. По каждому разговору — плюсы, минусы и рекомендации.
Хотите так же?
Оставьте контакты — перезвоним и покажем речевую аналитику на ваших звонках.