Главная
→
Блог
→
Инструменты
→
Оператор vs. ИИ-агент Юздеска: что показал эксперимент на 5000 тикетах

Оператор vs. ИИ-агент Юздеска: что показал эксперимент на 5000 тикетах

ИИ в поддержке

Декабрь традиционно считается одним из самых тяжёлых месяц для поддержки практически в любой компании. Обращений становится столько, что отвечать всем одинаково быстро и качественно уже не выходит, даже если в смене работают самые опытные специалисты. На этом фоне у нас возник простой вопрос: сможет ли ИИ-агент выдержать такую нагрузку или без большой команды операторов всё равно не обойтись? Чтобы проверить это, мы провели эксперимент: взяли 5000 реальных обращений, зафиксировали параметры для сравнения и сравнили финальные результаты.

За 15 минут расскажем, как искусственный интеллект сделает то, что раньше требовало сотрудника.

Сократите до 50% ФОТ с ИИ Юздеска

Как родилась идея эксперимента

Предлагаем заглянуть на один день в типичную поддержку российской компании в декабре. В команде слышно знакомое:
«Как пережить этот декабрь?»
«Поскорее бы уже праздники закончились…»

Все работают на износ, но поток обращений продолжает расти — каждый час и каждый день. Клиенты пишут в чат, мессенджеры, соцсети; проблемы у всех разные, а ожидания высокие. Возникает логичный вопрос: а реально ли одновременно сохранять и скорость, и качество?

На одной из планёрок прозвучала идея: «А что если взять, скажем, 50 000 обращений, разделить их между оператором и ИИ-агентом и посмотреть, кто справится лучше?»

Чтобы не превращать эксперимент в один сплошной марафон, мы уменьшили объём до 5 000 обращений, но суть задачи оставили прежней. Собственно, о результатах и пойдёт речь в этой статье.

По каким метрикам сравнивали работу оператора и ИИ-агента Юздеска

После того как мы решили воплотить идею эксперимента в реальность, встал следующий вопрос: как сравнивать работу оператора и ИИ-агента так, чтобы результат был честным и прозрачным?

Традиционно в клиентском сервисе чаще всего используются четыре метрики, которые дают общее представление об эффективности всей поддержки:

AHT (Average Handle Time) — сколько времени уходит на обработку одного обращения от первого касания до решения.
FCR (First Contact Resolution) — доля запросов, которые удаётся закрыть с первого ответа, без уточнений и повторных обращений.
CSAT (Customer Satisfaction Score) — удовлетворённость качеством ответа: насколько он был точным, понятным и по делу.
FRT (First Response Time) — скорость, с которой пользователь получает первый ответ, критичная особенно в периоды высокой нагрузки.

Такой набор даёт объективную картину: он показывает скорость, качество, точность и общий опыт пользователя. А значит, позволит оценить, кто справляется лучше в «боевом» режиме: оператор или ИИ-агент.

Дальше самое интересное: что показал эксперимент, где оператор показал себя хорошо, а где ИИ-агент Юздеска выглядел в разы сильнее (небольшой спойлер — везде).

AHT: как оператор и ИИ отличаются по скорости обработки

AHT — первая метрика, которая проседает в периоды высокой нагрузки. Когда у оператора одновременно открыто несколько диалогов, запросы прилетают из разных каналов, а контекст постоянно сбивается, время обработки неизбежно растягивается.

Как справился оператор

Оператор снова уходит уточнять информацию, возвращается спустя время, даёт ещё один общий ответ. В итоге диалог растягивается, хотя вопрос типовой и ответ на него есть в базе знаний

Как справился ИИ-агент

Клиент получает сразу развернутый ответ и дополнительный контекст на случай, если проблема не в интерфейсе, а в правах. Никаких уточнений, никаких переходов между окнами, никакого ожидания

На большом объёме разница стала очевидной. ИИ-агент закрывал обращения в 10–15 раз быстрее, чем оператор. Даже типовые вопросы оператору приходилось вести дольше: из-за пауз, переключений, поиска информации и повторных уточнений от клиента. ИИ-агент давал развернутый ответ сразу, не теряя контекст и не замедляясь под нагрузкой.

За 15 минут расскажем, как искусственный интеллект сделает то, что раньше требовало сотрудника.

Сократите до 50% ФОТ с ИИ Юздеска

FCR: сколько обращений удалось закрыть с первого ответа

Самое утомительное в поддержке — когда простой вопрос превращается в переписку на десять сообщений. Клиенту приходится по кругу объяснять одно и то же, оператору: уточнять детали, а итоговый ответ всё равно выглядит незавершённым. FCR как раз показывает, сколько обращений удаётся закрыть с первой попытки.

Как справился оператор

На этом диалог обрывается. Клиент так и не получил пошаговый ответ — вместо решения началась цепочка уточнений. Формально оператор на связи, но по факту обращение не закрыто, вопрос остаётся открытым

Как справился ИИ-агент

Здесь обращение закрывается одним ответом: клиент получает конкретный сценарий, сроки и понимает, чего ждать дальше

Заметим, что даже у опытного оператора значительная часть обращений превращалась в длинные диалоги: сначала уточнения, потом общие формулировки, потом просьба клиента «объяснить по шагам». В итоге доля обращений, закрытых с первого ответа, держалась на уровне около 40%. У ИИ-агента этот показатель значительно выше — на отметке в 90–95%. В подавляющем большинстве случаев клиент получал сразу конечный ответ.

CSAT: чем отличается удовлетворённость после ответа оператора и ИИ-агента

Удовлетворённость формируется не только из факта решения проблемы. Важно, как именно клиент получил ответ: ясно ли объяснили, был ли тон уместным, пришлось ли выпрашивать детали. Один и тот же технический вопрос может вызвать совершенно разные эмоции: от «Спасибо, всё понятно» до «Почему я должен выуживать ответы по одному слову?».

Как справился оператор

На этом ответ заканчивается. Клиент остаётся в подвешенном состоянии: неизвестно, сколько ждать, в чём причина и получит ли он доступ вообще

Как справился ИИ-агент

Здесь клиент получает и объяснение, и варианты решения, и ощущение, что ситуация под контролем. Поэтому удовлетворённость выше: не приходится ждать, догадываться или просить дополнительную помощь

На выборке обращений CSAT оператора держался в пределах 78–81% — хорошие показатели, но с провалами там, где ответ был слишком общим или клиенту приходилось ждать дополнительное уточнение. У ИИ-агента средний CSAT оказался выше — 89–92%. Клиенты чаще отмечали ясность ответа, тон, отсутствие лишних кругов и ощущение, что им дали реальное решение их запроса.

FRT: кто отвечает быстрее при одинаковой нагрузке

Клиента не волнует, чем занят оператор в момент, когда он пишет в поддержку. Переключается ли он между предыдущими диалогами, ищет ли информацию, закрывает ли старые тикеты — это всё остаётся “по ту сторону экрана”. Важно только одно: ответ должен появиться сразу. И в идеале вместе с решением вопроса. Смысл FRT как раз в этом: метрика показывает, сколько диалогов в поддержке зависают без ответа. И в такие месяцы, как декабрь, эта просадка становится особенно заметной.

Как справился оператор

Первый ответ выглядит как формальность, задержка заметна, а ощущение “меня слышат” не возникает даже близко

Как справился ИИ-агент

Первый ответ приходит сразу же, клиент получает контекст и перестаёт переживать

Оператор в условиях пиковых нагрузок отвечал в среднем через 1–3 минуты — это нормальная история, когда открыто много диалогов одновременно. ИИ-агент отвечал мгновенно, в пределах 1–2 секунд, независимо от объёма очереди и количества активных обращений. В пересчёте на нагрузку разница получилась чересчур большой: FRT у агента оказался лучше в 60–100 раз, и именно это сильнее всего влияло на общий клиентский опыт.

Итоги эксперимента и ключевые выводы

Эксперимент показал главное: оператор и ИИ-агент работают на совершенно разных уровнях. У оператора всегда есть ограничения: время работы, внимание, нагрузка, переключения между тикетами, да и банальная мотивация отвечать быстро и точно. ИИ-агент Юздеска лишён всех этих переменных. Он не устает, не теряет контекст, не начинает «плыть» под большим потоком.

Кратко по тем метрикам, которые мы брали за константы в начале эксперимента:

AHT. ИИ-агент обрабатывал обращения быстрее. Он не перечитывал диалог заново, не делал паузы на уточнения, не зависал на переключениях между окнами. У оператора среднее время обработки увеличивалось просто из-за потерь внимания и очереди. Разница ощущалась сразу: агент укладывался в минимальный AHT стабильнее.
FCR. Агент закрывал запросы с первого ответа заметно чаще. У оператора почти любой вопрос превращался в серию уточнений и повторов. «Пинг-понг» возникал там, где агент давал полноценный ответ сразу.
CSAT. После ответов агента клиенты ставили выше оценки. Причина проста: никаких ожиданий, никаких повторных формулировок, сразу понятный и полный ответ. Оператор проседал именно в тех ситуациях, где переписка превращалась в длинную цепочку сообщений.
FRT. Самая ощутимая разница. Первый ответ оператора появлялся спустя минуты. У агента — через секунды. По ощущениям клиентов это были два разных сервиса.

Если вы не хотите зависеть от пиковых периодов и не превращать декабрь в стресс-марафон, следя за каждым вздохом команды, то ИИ-агент — единственное решение для вас. Можно провести ещё десяток экспериментов, но итог будет тем же: ИИ-агент Юздеска работает быстрее, точнее и стабильнее.

В декабре его ещё можно попробовать бесплатно. Если вы клиент Юздеска, то просто напишите в поддержку «Хочу подключить ИИ-агента». Если вы все еще не используете Юздеск — оставьте заявку на 15-минутное демо с экспертом.

За 15 минут расскажем, как искусственный интеллект сделает то, что раньше требовало сотрудника.

Сократите до 50% ФОТ с ИИ Юздеска

Поделиться с коллегами:

Поделиться с коллегами:

Оцените, пожалуйста, нашу статью