Короткий ответ
Аудит базы знаний для AI начинается с реестра источников, владельцев и дат актуальности. Затем команда находит противоречия, задаёт приоритеты документов и прогоняет неудобную выборку: неполные вопросы, устаревшие условия, исключения и запросы без ответа. Отдельно оценивают фактическую точность, корректный отказ, источник и следующий шаг — так стиль не маскирует ошибочный факт.
База знаний — это не папка файлов
AI отвечает так уверенно, как уверенно звучат источники. Соберите не все документы подряд, а решения, на которые опирается оператор: условия, исключения, сроки, политика возврата. У каждого источника должен быть владелец и дата проверки.
Ищите не ошибки, а разные версии правды
Сравните документы по одним и тем же вопросам. Если в двух местах разный срок, ассистенту нельзя предлагать «выбрать лучший». Сначала решите конфликт внутри команды, затем обновите один канонический источник.
Соберите реестр знаний, а не архив
| Поле | Что записать | Почему важно |
|---|---|---|
| Тема | Какое решение описывает источник | Помогает искать дубли и пробелы |
| Владелец | Кто подтверждает актуальность | Без владельца противоречия не решаются |
| Дата проверки | Когда факт перепроверяли | Старые цены и сроки видны сразу |
| Граница | Что источник не разрешает утверждать | AI не достраивает обещания |
Тестовая выборка должна быть неудобной
Добавьте обычные вопросы, опечатки, неполные данные, конфликтующие условия и просьбы о том, чего нет в базе. Для каждого запроса заранее запишите допустимый факт, обязательное уточнение и условие передачи человеку. Так оценка не зависит от впечатления проверяющего.
Минимальный набор проверок
- вопрос с прямым ответом в одном источнике;
- вопрос, где два документа противоречат друг другу;
- просьба подтвердить цену или срок без достаточных данных;
- вопрос вне области знаний;
- запрос, который требует доступа к персональным данным.
Оценивайте границы отдельно от стиля
Красивый ответ может быть фактически неверным, а короткое «уточните номер заказа» — идеальным. Разделите оценку на точность фактов, полноту, соблюдение запретов, полезность следующего шага и корректность handoff. После изменения базы прогоняйте тот же набор снова.
Задайте приоритет источников до первого конфликта
У команды часто одновременно существуют публичная страница, инструкция оператора, договор, таблица тарифов и старый ответ в переписке. Запишите, какой источник главнее для каждой темы. Юридические условия могут определяться договором, актуальная доступность — продуктовой системой, а способ объяснения — редакционной инструкцией. Один общий порядок для всех фактов обычно не работает.
| Ситуация | Безопасное действие | Что исправить |
|---|---|---|
| Разные цены | Не называть случайное значение | Назначить канонический прайс и владельца |
| Разные сроки | Уточнить условия или передать человеку | Разделить сроки по продукту и сценарию |
| Старое название | Понять термин, ответить актуальным | Добавить синоним и пометить устаревшее |
| Факта нет | Честно обозначить границу | Решить, нужен ли новый источник |
Проверяйте ответы по рубрике, а не по настроению
| Критерий | Вопрос проверяющего | Ошибка |
|---|---|---|
| Факт | Все утверждения подтверждены источником? | Придуманная цена или условие |
| Полнота | Хватает ли ответа для следующего шага? | Верно, но бесполезно |
| Граница | Соблюдены ли запреты и ограничения? | Лишнее обещание |
| Контекст | Учтены ли данные из диалога? | Повторный вопрос |
| Маршрут | Правильно ли выбран ответ, уточнение или handoff? | Уверенный ответ там, где нужен человек |
Сохраняйте результат каждого прогона вместе с версией источников и правилами ассистента. Тогда падение качества можно связать с конкретным изменением, а не обсуждать по памяти. Ошибки группируйте по причине: отсутствующий факт, плохой поиск, неверная инструкция, неправильная ветка или неработающая передача оператору.
Проведите первый аудит за один рабочий цикл
- 01
День 1: собрать вопросы
Выгрузить повторяющиеся обращения и выбрать темы с ценой ошибки.
- 02
День 2: назначить источники
Для каждой темы определить канонический документ, владельца и границы.
- 03
День 3: найти конфликты
Сравнить версии ответов и закрыть противоречия до теста AI.
- 04
День 4: прогнать выборку
Проверить обычные, неполные, провокационные и неизвестные вопросы.
- 05
День 5: исправить причины
Обновить источник, поиск, правило ответа или передачу, затем повторить тот же тест.
После первого цикла не пересматривайте всё каждую неделю. Отслеживайте изменения продукта, новые причины обращений и ответы, которые операторы вынуждены исправлять вручную. Именно они формируют очередь следующего аудита.
- У фактов есть владелец.
- Конфликты устранены до загрузки.
- Тесты включают неполные вопросы.
- Для каждого теста записан ожидаемый тип ответа.
- После обновления выполняется повторный прогон той же выборки.
У базы знаний должен быть журнал решений
Недостаточно заменить файл и помнить, что «теперь правило другое». Зафиксируйте, какой факт изменился, кто подтвердил новую версию, с какой даты она действует и какие тестовые вопросы затронуты. Тогда при неожиданном ответе можно восстановить причину, а не сравнивать десятки документов вручную.
Что записывать при изменении источника
- ссылку или идентификатор действующего документа;
- владельца, который отвечает за смысл, а не только за файл;
- дату начала действия и дату следующей проверки;
- какие старые формулировки больше нельзя использовать;
- какие вопросы из тестовой выборки нужно прогнать заново.
Источники и документация
Как это работает в продукте
Для AI-ассистента особенно важны различия между источником и красивым текстом. Внутренняя заметка оператора, устаревший PDF и опубликованная политика не имеют одинаковый вес — назначьте приоритет до того, как ассистент начнёт отвечать.
После правки базы запустите одну и ту же тестовую выборку. Сравнение ответов на одинаковых вопросах честнее, чем случайные удачные диалоги, и показывает, не ухудшила ли новая инструкция уже рабочие случаи.
Частые вопросы
- Как часто проверять базу знаний AI-ассистента?
- Критичные цены, ограничения и условия — после каждого изменения продукта; остальные материалы — по расписанию, которое зависит от скорости обновлений. У каждого источника должны быть владелец и дата следующей проверки, иначе устаревший ответ невозможно быстро найти.
- Что делать, если источники противоречат друг другу?
- Не разрешайте ассистенту выбирать наиболее убедительную формулировку. Зафиксируйте приоритет источников, отправьте конфликт владельцу информации и до исправления используйте безопасный ответ с уточнением или передачей оператору.
- Как составить тесты для базы знаний?
- Возьмите реальные вопросы из диалогов и добавьте сложные варианты: опечатки, неполные условия, старое название тарифа, ложную предпосылку и просьбу о том, чего нет в базе. Проверяйте не только факт, но и ссылку на источник, границы ответа и следующий шаг.