Закон живёт не только в тексте. Он живёт в цепочке применений, споров и интерпретаций.

Исследовательский вопрос

Можно ли перейти от нескольких найденных дел к воспроизводимой картине применения нормы на большом корпусе, сохранив путь к каждому документу? NormaLab рассматривает это как задачу исследовательской инфраструктуры, а не как создание одного чат-бота.

Масштаб нужен, чтобы увидеть закономерности практики. При этом каждый вывод должен по-прежнему вести к нужному делу, версии документа, фрагменту и правилу классификации.

Проблема

Убедительный ответ может ссылаться на неподходящее дело, устаревший документ или фрагмент без контекста. Ошибки поиска, цитирования и интерпретации — разные ошибки; их нельзя скрывать одной оценкой «качества ответа».

Моя роль

• инженерия данных и версионирование корпуса;
• проектирование агентских задач и контрольных точек;
• воспроизводимость и фиксация конфигурации;
• механизм проверки цитат, связывающий вывод с документом.

Исследовательский протокол

Процесс начинается с вопроса и явных критериев корпуса. Получение документов, нормализация, дедупликация и контроль версий остаются детерминированными. LLM используется только там, где требуется семантическая работа, после чего результат проходит проверку цитат и QA.

вопрос → корпус → отбор документов → классификация → цитата
→ контрпример → юридическая проверка → отчёт

Код собирает корпус, нормализует документы и фиксирует версии. Модель помогает классифицировать материал и готовить гипотезы. Юрист проверяет правовую квалификацию. На каждом переходе сохраняется ссылка на входной документ и результат проверки.

Смена модели не должна незаметно менять набор источников или правила оценки. Каждый этап сохраняет идентифицируемый вход и версию промежуточного результата.

Что оценивается отдельно

• полнота и чистота корпуса;
• релевантность поиска;
• точность цитат;
• устойчивость правил классификации;
• полнота пакета и возможность воспроизвести запуск.

Аудит, который не скрыли

Внешние замечания, включая возврат материала на доработку, остаются в истории проекта. Отрицательный вердикт полезен, если указывает место ошибки и приводит к новой версии артефакта. Поэтому NormaLab показывает процедуру обнаружения и исправления ошибок, а не безошибочность модели.

Что удалось создать

Публичная платформа представляет метод, публикации, инфографику и примеры отчётов. Результат исследования можно связать с документом, версией обработки, правилом классификации и записью проверки.

Почему не один запрос

Процесс намеренно не строится вокруг одного запроса. Построение корпуса, поиск, семантический анализ и проверка цитат имеют разные профили ошибок, поэтому требуют отдельных этапов и критериев. LLM не используется там, где детерминированное правило даёт более воспроизводимый результат.

Ограничения

NormaLab остаётся исследовательским пилотом, а не системой промышленной эксплуатации. Числа из экспериментов публикуются только вместе с методологией и конкретным отчётом. Материал не является юридической консультацией.