AI and society jest obszarem analizy procedur, odpowiedzialności i skutków błędu, a nie katalogiem obietnic produktu. Gdy system wpływa na kolejność spraw, dostęp do zasobu albo ocenę człowieka, trzeba umieć wskazać właściciela kryterium, drogę sprzeciwu i koszt pomyłki dla różnych osób. Średnia skuteczność nie odpowiada na te pytania. Zebrane tutaj teksty badają, gdzie reguły są ukryte w danych, instrukcji lub interfejsie i jak można je uczynić widocznymi dla osoby, której wynik dotyczy. Nie zakładają, że automatyzacja jest domyślnie właściwym rozwiązaniem.
Praktyczne pytanie nie brzmi, czy system jest wystarczająco inteligentny, lecz czy dotknięta nim osoba ma zrozumiałą procedurę, możliwość korekty i realną drogę do człowieka. Jeśli tych warunków nie da się nazwać, wdrożenie wymaga najpierw zmiany procesu. Taki warunek jest istotny także wtedy, gdy narzędzie służy wyłącznie do priorytetyzacji, a nie do formalnej decyzji.
Procedura przed sloganem
Pytanie o wpływ AI na instytucję nie zaczyna się od możliwości modelu, lecz od procedury. Kto wybiera kryterium, dopuszcza źródła, definiuje wyjątek i decyduje, kiedy wynik można zastosować? Odpowiedzi są częścią projektu społecznego, a nie detalem technicznym. Bez nich automatyzacja może tylko szybciej utrwalać niejawne reguły.
Właściciel kryterium
Każde kryterium klasyfikacji lub priorytetu ma autora, nawet gdy jest ukryte w danych albo modelu. Instytucja powinna umieć nazwać rolę, która zatwierdza to kryterium, sprawdza jego zmianę i odpowiada na sprzeciw. Nie wystarczy powiedzieć, że decyzję podjął algorytm. Taki opis zaciera odpowiedzialność zamiast pokazywać, gdzie można ją skutecznie zakwestionować.
Cena błędu
Błąd ma inne znaczenie dla osoby, której wynik dotyczy, dla pracownika wykonującego procedurę i dla organizacji utrzymującej system. Dlatego ocena nie może kończyć się na średniej skuteczności. Trzeba rozważyć, kto ponosi koszt fałszywego odrzucenia, opóźnienia, ujawnienia danych albo niemożności wyjaśnienia wyniku. Te koszty wyznaczają, czy automatyzacja jest w ogóle dopuszczalna w danym punkcie.
Droga do zakwestionowania
Osoba dotknięta wynikiem potrzebuje zrozumiałej drogi do pytania, korekty i odwołania, a pracownik musi wiedzieć, jak zatrzymać działanie bez obchodzenia systemu. Mechanizm challenge nie jest dodatkiem po wdrożeniu; wpływa na wymagania dotyczące zapisu źródeł, wersji, decyzji i retencji. Ten temat pozostaje analizą odpowiedzialności, a nie obietnicą automatycznego produktu.