Как за 2 недели собрать FAQ из хаотичных документов с помощью RAG

В сфере строительства и ремонта у потребителей часто возникают вопросы, связанные с выбором подходящих материалов или их правильным использованием.

Для общения с клиентами активно применяются чат-боты КНАУФ, которые доступны на сайте, в VK, Telegram, по электронной почте и через телефонные каналы. Однако традиционные чат-боты не всегда способны справиться со сложными запросами пользователей. А для КНАУФ важно не только быстро реагировать, но и давать клиентам полноценные консультации.

К тому же, учитывая огромный спектр продукции и нюансов ее применения, обучение сценарного бота занимает слишком много времени. Требуется время на разбор вопросно-ответных пар, проверку актуальности данных и обновление бота. Поэтому решили попробовать новый подход на базе генеративного ИИ в КНАУФ и интегрировали Jay Knowledge Hub, интеллектуальную систему для поиска по неразмеченным данным на основе RAG и дата-агентов.

Ассистент Kai — виртуальный помощник на базе AI в КНАУФ, доступный в официальных каналах компании, — ежемесячно помогает 2000+ клиентам. Kai, например, может подсказать характеристику продукта, рассказать о применении стройматериалов и быстро сориентировать по сайту.

Такая доработка требовала минимум трудозатрат, позволяла напрямую обращаться к Jay Knowledge Hub и значительно расширяла объем знаний ассистента. В отличие от традиционного способа разработки FAQ, основанного на паттернах и предзаписанных вопросно-ответных парах, Jay Knowledge Hub позволяет искать ответы на вопросы по загруженным в базу документам.

Когда документы проверили на актуальность и полноту, их загрузили в Jay Knowledge Hub для обучения векторной базы данных.

Для проекта была подобрана качественная и при этом недорогая модель от Open AI – GPT-4o mini. А весь процесс сбора данных и тестовых вопросов, обучения, тестирования и вывода решения в прод занял всего 2 недели. Учитывая полученный объем знаний Kai, разработка похожего решения классическим подходом могла бы занять месяцы!

Тестирование проводилось с использованием заранее подготовленных вопросов и идеальных ответов, которые подготовили специалисты из КНАУФ. Каждый вопрос сопровождался указанием, в каком документе содержится ответ. Вопросы прогонялись через систему, после чего результат сравнивался с ожидаемым идеальным ответом. Для оценки соответствия ответов также использовали ИИ, который анализировал, насколько ответы совпадают по смыслу. Это позволило определить уровень точности решения, который составил 89%.

Благодаря готовой интеграции Jay Knowledge Hub с диалоговой платформой JAICP в Knauf, диалоговой платформой на которой был разработан AI-ассистент Kai, вывод решения в эксплуатацию был реализован за 1 день.

Теперь Kai умеет отвечать на более чем 3000 вопросов по продуктам компании, информация о которых содержалась в загруженных в Jay Knowledge Hub документах. AI-ассистент легко понимает любые формулировки вопросов, справляется с ошибками в запросах, а если не обладает экспертизой, вежливо переводит диалог на оператора.

Когда стартовал активный этап тестирования, бота передали специалистам из КНАУФ. Коллеги были поражены, откуда Kai мог знать столько деталей и так полно и грамотно отвечать клиентам!

В работе у проектной группы — создание новой версии AI-ассистента с расширенными возможностями и знаниями. Планируется интеграция базы данных КНАУФ с Jay Knowledge Hub, чтобы обновление базы знаний происходило динамически, без необходимости ручной загрузки файлов в систему.

В будущем чат-ботом будут пользоваться не только клиенты компании, но и её сотрудники (а их более 100), включая консультантов в местах продаж и специалистов отдела поддержки.

Также в планах разработка голосового бота на базе Jay Knowledge Hub. Здесь еще ведутся работы по ускорению генерации ответов на лету, но уже текущие тесты показывают скорость в 500 мc, приближающуюся к показателям текущих проектов для голосового канала в 300 мс.