Jak mierzyć nie treść normy, lecz sposób, w jaki jest rzeczywiście stosowana?

Pytanie badawcze

Czy można przejść od kilku znalezionych spraw do odtwarzalnego obrazu stosowania normy na dużym korpusie, nie tracąc drogi do każdego dokumentu? NormaLab traktuje to jako problem infrastruktury badawczej, nie problem budowy jednego chatbota.

Skala jest potrzebna, aby widzieć wzorce praktyki. Jednocześnie każdy wniosek musi prowadzić do właściwej sprawy, wersji dokumentu, fragmentu i reguły klasyfikacji.

Problem

Płynna odpowiedź może cytować niewłaściwą sprawę, starą wersję dokumentu albo zdanie bez kontekstu. W prawie błąd wyszukiwania, błąd cytowania i błąd interpretacji są różnymi błędami — nie powinny znikać w jednej ocenie „jakości odpowiedzi”.

Moja rola

• inżynieria danych i wersjonowanie korpusu;
• projekt zadań agentowych i punktów kontroli;
• odtwarzalność oraz zapis konfiguracji;
• silnik cytowań łączący wniosek z dokumentem.

Protokół badawczy

Proces zaczyna się od pytania i jawnych kryteriów korpusu. Pobranie dokumentu, normalizacja, deduplikacja i kontrola wersji pozostają deterministyczne. LLM pojawia się tylko w zadaniach, które wymagają pracy semantycznej, a jej wynik przechodzi kontrolę cytatów i jakości.

pytanie → korpus → wybór dokumentów → klasyfikacja → cytat
→ kontrprzykład → przegląd prawny → raport

Kod buduje korpus, normalizuje dokumenty i zapisuje wersje. Model pomaga klasyfikować materiał i przygotowywać hipotezy. Prawnik sprawdza kwalifikację prawną. Na każdym przejściu zachowywane są odnośnik do dokumentu wejściowego i wynik weryfikacji.

Zmiana modelu nie może po cichu zmienić zbioru źródeł ani reguł oceny. Każdy etap otrzymuje identyfikowalne wejście i zapisuje wersję wyniku pośredniego.

Co jest mierzone osobno

• kompletność i czystość korpusu;
• trafność wyszukiwania;
• zgodność cytatu z dokumentem;
• stabilność reguły klasyfikacji;
• kompletność pakietu i możliwość odtworzenia przebiegu.

Taki podział pozwala naprawić konkretną warstwę zamiast „poprawiać polecenie” bez diagnozy.

Audyt, którego nie ukryto

Zewnętrzne uwagi, w tym zwrot materiału do poprawy, pozostają częścią historii projektu. Negatywny werdykt jest użytecznym wynikiem, jeżeli wskazuje miejsce błędu i prowadzi do nowej wersji artefaktu. NormaLab pokazuje więc procedurę wykrywania i poprawiania błędów, a nie bezbłędność modelu.

Co udało się zbudować

Publiczna platforma prezentuje metodę, publikacje, infografiki i przykłady raportów. Wynik badania może być połączony z dokumentem, wersją przetwarzania, regułą klasyfikacji i zapisem ewaluacji. To praktyczny wzorzec dla badań korpusowych, w których dowód ma pozostać widoczny po automatyzacji.

Dlaczego nie jedno polecenie

Proces celowo nie opiera się na jednym poleceniu. Budowa korpusu, wyszukiwanie, analiza semantyczna i kontrola cytatów mają inne profile błędu, dlatego wymagają osobnych etapów i kryteriów. LLM nie jest używany tam, gdzie reguła deterministyczna daje wynik łatwiejszy do odtworzenia.

Ograniczenia

NormaLab pozostaje pilotażem badawczym, nie systemem produkcyjnym. Wyniki liczbowe eksperymentów są publikowane wyłącznie z metodologią i konkretnym raportem. Materiał nie stanowi porady prawnej.