Краш-тест поиска: когда похожее означает неверное

Top-k — не продуктовый результат

Ранжирование по сходству показывает, какие векторы близки к запросу. Оно не отвечает, относится ли документ к нужной стороне, применимому праву, процессуальной стадии или вопросу пользователя.

Поэтому полноту и точность поиска необходимо связывать с решением, которое поддерживает система. Один и тот же рейтинг может быть приемлем для разведочного поиска и неприемлем для подготовки обоснования.

Набор данных с негативными примерами

Тестовый набор должен включать документы, которые выглядят релевантными, но не подходят по одной конкретной причине:

• устаревшая версия;
• другая юрисдикция;
• похожее имя человека или организации;
• иная процессуальная стадия;
• цитата, смысл которой меняется из-за отсутствующего контекста.

Единица оценки

Оценки на уровне фрагмента недостаточно, если пользователю нужен целый документ, метаданные и связи с другими источниками. Единица поиска и единица оценки должны соответствовать итоговому артефакту.

Проверка после поиска

После поиска следует проверять цитату: точный текст, охват, источник, версию и связь с утверждением. Модель не должна быть единственным проверяющим материала, который она ранее сформировала.

Как читать результат теста

Оценка без корпуса, набора запросов, эталона и допустимой ошибки — лишь число. Универсального рейтинга векторных баз данных не существует; существуют лучше или хуже заданные проверки конкретной задачи.