Все строки вымышлены и размечены автором. Mock — не реальный поиск; Q6 — ручная golden-метка конфликта. Checker не проверяет смысл свободного ответа. Сверка агентом перед реальным каналом — отдельная стадия.
| id | at | question | expected | fact_ids | mock_before | mock_after | before | after | diagnosis | retrieval_missing | manual_document_annotation |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Q1 | 2026-10-23 | Сколько стоит тариф сейчас? | answer | F-price | price-v1 | price-v2 | 1000 рублей в месяц. | На 23 октября — 2000 рублей в месяц [F-price, price-v2]. | expected_fact_missing;wrong_source_version_for_question_date | price-v2 | |
| Q2 | 2026-10-23 | Во сколько обойдётся месяц использования? | answer | F-price | price-v2 | price-v2 | 3000 рублей в месяц. | Месяц стоит 2000 рублей [F-price, price-v2]. | value_not_supported_by_fact | ||
| Q3 | 2026-10-23 | Можно перенести задачи из CSV? | answer | F-csv | faq-v2 | Не знаю, в базе нет ответа. | Да, импорт CSV поддерживается [F-csv, faq-v2]. | expected_fact_missing;wrong_action_or_false_refusal | faq-v2 | ||
| Q4 | 2026-10-23 | Настройка уже входит в стоимость? | answer | F-setup | price-v2 | price-v2 | Да, настройка включена. | Нет, настройка не включена [F-setup, price-v2]. | value_not_supported_by_fact | ||
| Q5 | 2026-10-23 | За сколько дней доставите? | abstain | faq-v2 | faq-v2 | Доставим завтра. | В базе срок доставки не определён. Не могу назвать его; уточните у владельца. | claims_without_supported_single_answer;unknown_fact;wrong_action_or_false_refusal | |||
| Q6 | 2026-10-23 | В какой срок можно вернуть оплату? | clarify | F-refund14;F-refund21 | refund-a;refund-b | refund-a;refund-b | 14 дней. | В базе конфликт: refund-a указывает 14 дней, refund-b — 21. Приоритет не задан; уточните действующую политику у владельца. | claims_without_supported_single_answer;conflict_sources_not_disclosed;wrong_action_or_false_refusal | conflicting_current_refund_policies | |
| Q7 | 2026-10-23 | Есть скидка студентам? | abstain | faq-v2 | faq-v2 | В предоставленной базе скидка студентам не определена; уточните у владельца. | В предоставленной базе скидка студентам не определена; уточните у владельца. | ||||
| Q8 | 2026-09-15 | Сколько стоил тариф в сентябре? | answer | F-price-old | price-v2 | price-v1 | В сентябре — 2000 рублей. | В сентябре цена была 1000 рублей [F-price-old, price-v1]. | expected_fact_missing;wrong_source_version_for_question_date | price-v1 |