Przewodnik 04 / Kwestionowanie i odpowiedzialność

Zbadaj model planowania

Użyteczny model sprawia, że jego zależności można sprawdzić. Przejrzyj, co reprezentuje, gdzie zostało sprawdzone i które decyzje pozostają poza jego zakresem.

WeryfikacjaCzy zamierzony model został poprawnie wdrożony?
WalidacjaCzy nadaje się do określonego zastosowania?
PrzeglądKto akceptuje pozostałe ograniczenia?

Zapytaj, co system faktycznie robi

Etykieta AI może opisywać bardzo różne funkcje. System może szacować liczbę osób na podstawie obrazów, prognozować wzorce przybycia, proponować kombinacje scenariuszy lub generować pisemne podsumowanie. Symulacja ruchu pieszych może opierać się na zupełnie innych metodach. Zanim ocenisz szerokie twierdzenie, że system „optymalizuje bezpieczeństwo tłumu”, określ każdy komponent i jego rolę. Takie sformułowanie nie jest testowalnym opisem jego działania.

Sformułuj cel z określoną decyzją, lokalizacją, fazą działania i zamierzonym użytkownikiem. Następnie udokumentuj wyłączenia. Model zaprojektowany do porównywania rutynowych przyjazdów może niewiele mówić o zachowaniach w sytuacjach awaryjnych, o osobach wymagających pomocy lub o skutkach nieplanowanego zamknięcia trasy. Jasno określone wyłączenie jest bardziej użyteczne niż domniemana zdolność, której nikt nie sprawdził.

Wymagaj śledzalnych danych wejściowych i wyjściowych. Recenzent powinien być w stanie wskazać wersję planu terenu, założenia dotyczące frekwencji, reguły wyboru trasy, wersję oprogramowania i ustawienia scenariusza, na których opiera się wynik. Jeśli wygenerowana przez AI narracja wprowadza fakt, którego nie ma w materiale dowodowym, traktuj go jako nieuzasadnione twierdzenie, dopóki nie zostanie sprawdzony, a nie jako użyteczne uzupełnienie brakujących informacji.

Oddziel weryfikację od walidacji

Weryfikacja sprawdza, czy implementacja odpowiada zamierzonemu modelowi. Obejmuje to kontrolę geometrii, połączeń, jednostek, warunków brzegowych i przekształceń danych. Ścieżka przypadkowo połączona przez ogrodzenie może dać przekonująco wyglądający ruch, który odzwierciedla niemożliwą drogę. Małe przypadki testowe i kontrola wyników pośrednich mogą ujawnić błędy, które trudno dostrzec w pełnej animacji.

Walidacja pyta, czy model jest wystarczająco reprezentatywny dla zamierzonego zastosowania. Może obejmować porównanie z odpowiednimi obserwacjami, analizę znanych ograniczeń i niezależne podważenie wyników. Dowody z innego miejsca lub innej publiczności wymagają uzasadnionego argumentu za ich przeniesieniem. Walidacja nie jest uniwersalną pieczęcią, która czyni każde późniejsze zastosowanie właściwym.

Tam, gdzie to możliwe, oddzielaj kalibrację od niezależnej kontroli. Jeśli te same obserwacje posłużyły do dostrojenia modelu i wykazania jego zgodności z rzeczywistością, należy to wyraźnie zaznaczyć. Wyjaśnij niepewność pomiaru oraz aspekty zachowania, których porównanie nie obejmuje. Bliska zgodność z jedną sumą zbiorczą może ukrywać błędne wzorce lokalne lub czasowe.

Porównuj scenariusze wspólnym rejestrem

Zacznij od udokumentowanego przypadku referencyjnego, a nie od założonej prognozy tego, co się wydarzy. Zmieniaj dane wejściowe z uzasadnionego powodu, zapisuj uzasadnienie i zachowuj te same miary porównawcze, o ile pozostają właściwe. W modelach stochastycznych analizuj różnice między przebiegami, zamiast wybierać korzystną animację. Gdy metoda jest deterministyczna, wyjaśnij wynikające z tego ograniczenia, zamiast sugerować, że powtarzalność dowodzi dokładności.

Pytania przeglądowe oparte na wytycznych HSE dotyczących imprez oraz na NIST AI RMF; są to jakościowe kontrole, a nie progi wydajności.
ScenariuszPytanie dowodowePrzegląd operacyjny
Układ referencyjnyCzy założenia dotyczące układu, czasu i zachowania są śledzalne?Potwierdź, że badanie odpowiada aktualnemu planowi.
Zmieniony wzorzec przybyciaCo uzasadnia zakres czasowy?Sprawdź przestrzeń kolejek i interfejsy z partnerami.
Ograniczona dostępność trasCzy alternatywa jest naprawdę użyteczna?Sprawdź przestrzeń przyjmującą, personel i uprawnienia.
Różne preferencje dotyczące trasJak bardzo wynik zależy od wyboru uczestników?Sprawdź potrzeby w zakresie orientacji w terenie i obserwacji.

Nie używaj porównania, aby ukryć niedopuszczalne założenie dotyczące odniesienia. Jeśli każdy scenariusz opiera się na niezweryfikowanym otwarciu lub niedostępnych zasobach personelu, właściwym kolejnym krokiem jest rozwiązanie tej zależności. Wynik może być pouczający, a jednocześnie niewystarczający do podjęcia decyzji operacyjnej.

Zachowaj otwarte pytania kontrolne

Które dane wejściowe najbardziej zmieniają wniosek?

Określ istotne wrażliwości oraz to, czy prawdopodobne zmiany danych wejściowych zmieniają decyzję. Priorytetowo traktuj lepsze dowody tam, gdzie mogą znacząco zmniejszyć niepewność.

Jaka obserwacja podważyłaby założenia planowania?

Zdefiniuj obserwację, jej zakres i drogę raportowania. Unikaj polegania na wartości z panelu, dopóki nie znasz jej opóźnienia, niepewności i martwych punktów.

Czy proponowana reakcja faktycznie może zostać zrealizowana?

Sprawdź uprawnienia, obsadę, sprzęt i koordynację. Reakcja opisana w oprogramowaniu nie jest dostępna tylko dlatego, że interfejs ją oferuje.

Te pytania należy omówić z odpowiednimi specjalistami operacyjnymi. Modelarz może rozumieć oprogramowanie, a inna osoba teren, dostępność lub powiązania z transportem. Uporządkowany przegląd łączy te perspektywy, nie pozwalając, by jakiekolwiek pojedyncze narzędzie zastąpiło cały proces planowania.

Przekaż decyzję wskazanym osobom

Zapisz właściciela decyzji, recenzentów, rozważone dowody, zaakceptowane ograniczenia i kwestie wciąż otwarte. Odróżnij przegląd metody modelowania od zatwierdzenia ustaleń imprezy. Osoby upoważnione do przyjęcia ryzyka operacyjnego lub zatwierdzenia zmiany określa struktura zarządzania wydarzeniem i obowiązujące wymagania, a nie dostawca oprogramowania.

Zmiany po przeglądzie wymagają oceny skutków. Przesunięcie punktu gastronomicznego, zmiana programu lub zamknięcie ścieżki może unieważnić założenie, które wydawało się drobne. Utrzymuj powiązania wersji między zatwierdzonymi ustaleniami a analizą. Po imprezie porównaj obserwacje z przypadkiem planistycznym, nie przepisując pierwotnych założeń tak, by prognoza wyglądała lepiej.

Przydatne szersze źródła to NIST AI Risk Management Framework, wytyczne ISO 31000 dotyczące zarządzania ryzykiem oraz wytyczne ISO 22320 dotyczące zarządzania incydentami. Wspierają one myślenie o nadzorze; ich przywołanie nie stwierdza zgodności, nie certyfikuje modelu i nie zatwierdza imprezy. Wytyczne dotyczące konkretnych wydarzeń publikowane przez HSE oraz Purple Guide należy czytać w ramach ich jurysdykcji i zakresu.

Sformułuj pytanie o dowody