Crash test retrievalu

W skrócie

Negatywne przykłady są częścią datasetu.
Metryka retrievalu musi odpowiadać decyzji użytkownika.
Cytat należy sprawdzić po pobraniu.

Top-k nie jest wynikiem produktu

Ranking podobieństwa mówi, które wektory znalazły się blisko zapytania. Nie mówi, czy dokument dotyczy właściwego podmiotu, stanu prawnego, etapu procedury ani pytania użytkownika.

Dlatego recall i precision trzeba powiązać z decyzją, którą ma wesprzeć system. Ten sam ranking może być wystarczający do eksploracji i niedopuszczalny do przygotowania uzasadnienia.

Dataset z przypadkami negatywnymi

Zbiór testowy powinien zawierać dokumenty pozornie podobne, lecz niewłaściwe z jednego konkretnego powodu:

nieaktualna wersja;
inna jurysdykcja;
podobne nazwisko lub nazwa podmiotu;
inny etap procedury;
cytat bez kontekstu zmieniający sens.

Jednostka oceny

Ocena fragmentu nie wystarczy, jeżeli użytkownik potrzebuje całego dokumentu, metadanych i relacji z innymi źródłami. Jednostka retrievalu oraz jednostka oceny muszą odpowiadać końcowemu artefaktowi.

Weryfikacja po pobraniu

Po retrievalu potrzebna jest kontrola cytatu: zgodność tekstu, zakres, źródło, wersja i relacja z twierdzeniem. Model nie powinien sam potwierdzać materiału, który wcześniej wygenerował.

Jak czytać benchmark

Wynik bez opisu korpusu, zapytań, ground truth i tolerowanego błędu jest tylko liczbą. Nie istnieje uniwersalny ranking baz wektorowych; istnieją lepiej lub gorzej zdefiniowane testy konkretnej pracy.

LIM

Ograniczenia i zakres

Wynik benchmarku zależy od domeny, korpusu i jednostki oceny; nie istnieje uniwersalny ranking baz wektorowych.

SRC

Źródła i wersja zewnętrzna

Oryginalny lub wcześniejszy materiał na Medium

Narzędzia AI wspierały przygotowanie struktury i redakcję. Autor musi zweryfikować fakty, źródła, wnioski oraz ostateczną wersję przed publikacją produkcyjną.

LOG

Historia zmian

06 sie 2025Pierwsza rozszerzona wersja we własnym archiwum.
17 lip 2026Przegląd struktury, ograniczeń i powiązań dowodowych.