Торговая сеть «Перекрёсток» (входит в X5 Group) и команда Advanced Analytics GlowByte завершили проект по автоматизации обработки отзывов клиентов.
Торговая сеть «Перекрёсток» (входит в X5 Group) и команда Advanced Analytics GlowByte завершили проект по автоматизации обработки отзывов клиентов.
Отзывы содержат ценную информацию о том, что клиентам нравится и не нравится в отдельном магазине сети. Так отзывы становятся источником инсайтов для бизнеса. Их ручной анализ занимает слишком много времени и не всегда бывает точен. Для этого «Перекрёсток» и GlowByte автоматизировали обработку отзывов клиентов при помощи текстового анализа. Теперь при появлении нового отзыва программа сразу может определить в какую категории его отнести, что ускоряет время обработки.
На входе у команд были результаты NPS-исследования в формате телефонного разговора с клиентами после их посещения одного из магазинов сети. Во время разговора клиентов спрашивают, что им понравилось и не понравилось, оператор тезисно фиксирует ответ и определяет к каким из предопределенных категорий ответ будет отнесен: ассортимент, персонал, качество продуктов и прочие. Каждый отзыв может быть отнесен к нескольким категориям. Так как клиенту задают два вопроса: «Что вам понравилось в последнем визите?», «Что вам не понравилось?» и фиксируют их в разных полях, формируется два датасета. Первый из них содержит положительные отзывы, второй – отрицательные.
В рамках проекта «Перекрёсток» и GlowByte решили две задачи:
●Уточнили существующую разметку комментариев по категориям. Иногда операторы относят отзыв к несоответствующим категориям или просто отмечают как «прочее». Было важно снизить эффект ошибочного отнесения комментариев к предопределенным факторам.●Выделить более гранулярные подкатегории среди факторов, полученных в результате уточнения разметки операторов на первом этапе.
Например, отзыв «не нашли нужного нам молока» будет отнесен к общей категории «Ассортимент», но хочется автоматически относить его к более мелкой подкатегории «Ассортимент молочных продуктов».
Так, для фактора «Скорость обслуживания» были предсказаны категории с точностью 92% (precision) и полнотой 87% (recall). Так как метрики считались по разметке операторов, которая бывает неточной, для ориентировочной оценки количества реальных ошибок модели было решено вручную раскрасить часть отзывов.
Таким образом, собранные в ходе NPS-опроса данные были переразмечены по крупным категориям, разбиты на детальные подкатегории, агрегированы на уровне отдельных магазинов и общих данных по всей сети. Теперь данные готовы для анализа и выявления инсайтов.
Например, в магазине Новокосино в марте 2020 было проведено 97 интервью. Многие клиенты отвечают, что им все нравится, о персонале и скорости обслуживания чаще отзываются положительно.
“Этот кейс очень интересен с точки зрения области применения алгоритмов текстовой аналитики. В данной области применялся впервые и базовый подход показал очень высокий рост качества разметки. В дальнейшем алгоритм может быть улучшен” — Дарья Давыдова, Advanced Analytics GlowByte.
«NPS — или индекс лояльности потребителя — для нас один из важнейших показателей эффективности работы, поэтому нам было важно не просто видеть его уровень – высокий или низкий, но и понимать вклад того или иного атрибута, например, цены или удобства визита. Когда мы знаем точную проблему, то можем быстро принимать решения и эффективно ее устранять. Поэтому такой автоматизированный анализ помог повысить точность аналитики, исключить ошибку человеческого фактора, сократить операционные расходы, и как итог – принимать верные решения для построения лучшего клиентского сервиса и роста NPS» — комментирует Иван Братцев, руководитель управления клиентского опыта торговой сети «Перекрёсток».
