Асистент швидко знаходить інструкцію на демонстрації. Після підключення робочих документів він бачить старі версії, неповні файли та матеріали з різними правами доступу. Умовний пілот такого пошуку потрібно перевірити як робочий процес: хто ставить питання, що може бути джерелом і що відбувається, коли надійної відповіді немає.
Визначте правильний результат
Для пошуку в інструкціях результатом може бути відповідь із посиланням на чинний документ. Для запиту поза доступом правильною поведінкою є відмова без розкриття змісту. Для суперечливих джерел потрібне повідомлення про невизначеність або передача на перевірку.
Погодьте ці умови до оцінювання. Інакше вдала демонстрація поступово перетвориться на довільне приймання, де кожний учасник має власне уявлення про якість.
Перевіряйте випадки, яких не було в налаштуванні
Створіть окремий тестовий набір із реалістичних типів запитів. Він має включати чинну й відкликану інструкцію, схожі назви документів, відсутню відповідь і користувача без права доступу. Приклади з реальними даними використовуються лише в дозволеному середовищі.
Зафіксуйте очікувану дію та джерело для кожного випадку. Не змінюйте очікування лише тому, що нова відповідь звучить переконливо. Коли виявлено помилку тесту, виправляйте її з поясненням і повторно перевіряйте порівнювані версії.
Сервіс може бути доступним і помилятися
| Перевірка | Що спостерігаємо | Хто визначає прийнятність |
|---|---|---|
| Доступність | Чи отримує користувач відповідь | Власник сервісу |
| Якість | Чи відповідає зміст чинному джерелу | Власник процесу |
| Доступ | Чи не розкривається заборонений матеріал | Власник даних і безпеки |
| Вартість роботи | Запити, повтори та перевірка людиною | Власник бюджету |
Google SRE розрізняє показник рівня сервісу та ціль для нього. Для ШІ цей підхід варто доповнити перевіркою змісту: швидка відповідь без правильного джерела не вирішує задачу. Конкретні пороги команда обирає за наслідками помилки, а не копіює з чужого прикладу.
Підготуйте роботу після запуску
Визначте, хто опрацьовує скаргу на відповідь, як відтворити її контекст і як відкликати застарілий документ. Якщо джерело недоступне, система не повинна видавати неперевірене припущення за підтверджений факт.
Оновлення моделі, пошукового індексу або правил доступу може змінити результат. Потрібно зберігати версії налаштувань і повторювати погоджені перевірки після суттєвих змін. План повернення має враховувати також джерела й індекс, а не лише код.
Рішення про масштабування
- Перевірте коректні відповіді, відмови та невизначеність.
- Зафіксуйте якість, доступність і повну вартість окремо.
- Призначте відповідального за джерела та інциденти.
- Погодьте умови продовження, доопрацювання або зупинки пілоту.
Для сценарію на продуктах Intecracy Group Digital Line спочатку формує ці вимоги. Функції конкретного рішення й можливість підключення джерел перевіряються під час обстеження. Сам факт використання ШІ не є критерієм успіху.
Питання та відповіді
Чи достатньо високої впевненості моделі?
Ні. Її оцінка не замінює перевірки відповіді на незалежних прикладах і не підтверджує право доступу до джерела.
Коли повторювати оцінювання?
Після суттєвої зміни моделі, джерел, індексу або правил роботи. Обсяг перевірки визначається впливом зміни.
Джерело
Google SRE: Service Level Objectives. Сценарій перевірки асистента вище є редакційним методом Digital Line.