Ρωτήστε τι κάνει πραγματικά το σύστημα
Η ετικέτα «τεχνητή νοημοσύνη» μπορεί να περιγράφει πολύ διαφορετικές λειτουργίες. Ένα σύστημα μπορεί να εκτιμά αριθμούς από εικόνες, να προβλέπει μοτίβα άφιξης, να προτείνει συνδυασμούς σεναρίων ή να δημιουργεί γραπτή σύνοψη. Μια προσομοίωση πεζών μπορεί να χρησιμοποιεί εντελώς διαφορετικές μεθόδους. Προσδιορίστε κάθε συστατικό και τον ρόλο του πριν αξιολογήσετε μια γενική δήλωση ότι το σύστημα «βελτιστοποιεί την ασφάλεια του πλήθους». Τέτοια γλώσσα δεν αποτελεί ελέγξιμη περιγραφή της απόδοσής του.
Γράψτε δήλωση σκοπού με καθορισμένη απόφαση, τοποθεσία, φάση λειτουργίας και προβλεπόμενο χρήστη. Στη συνέχεια τεκμηριώστε τους αποκλεισμούς. Ένα μοντέλο σχεδιασμένο για σύγκριση συνηθισμένων αφίξεων μπορεί να λέει λίγα για τη συμπεριφορά σε έκτακτη ανάγκη, για άτομα που χρειάζονται βοήθεια ή για την επίδραση ενός απρογραμμάτιστου κλεισίματος διαδρομής. Ένας σαφής αποκλεισμός είναι πιο χρήσιμος από μια υπονοούμενη δυνατότητα που κανείς δεν έχει εξετάσει.
Απαιτήστε ιχνηλάσιμες εισροές και εκροές. Ένας αξιολογητής πρέπει να μπορεί να προσδιορίσει την αναθεώρηση του χώρου, τις παραδοχές για τον αριθμό των παρευρισκομένων, τους κανόνες επιλογής διαδρομής, την έκδοση λογισμικού και τις ρυθμίσεις σεναρίου πίσω από ένα αποτέλεσμα. Αν μια αφήγηση που παράγεται από τεχνητή νοημοσύνη εισάγει ένα γεγονός που δεν υπάρχει στο πακέτο τεκμηρίωσης, αντιμετωπίστε το ως μη τεκμηριωμένο ισχυρισμό μέχρι να ελεγχθεί, και όχι ως χρήσιμη συμπλήρωση ελλιπών πληροφοριών.
Διαχωρίστε την επαλήθευση από την επικύρωση
Η επαλήθευση εξετάζει αν η υλοποίηση αντιστοιχεί στο προβλεπόμενο μοντέλο. Αυτό περιλαμβάνει τον έλεγχο γεωμετρίας, συνδέσεων, μονάδων μέτρησης, οριακών συνθηκών και μετασχηματισμών δεδομένων. Μια διαδρομή που συνδέεται κατά λάθος μέσα από έναν φράχτη μπορεί να παράγει πειστικά φαινόμενα κίνησης, αντιπροσωπεύοντας όμως ένα αδύνατο ταξίδι. Μικρές δοκιμαστικές περιπτώσεις και έλεγχος ενδιάμεσων εκροών μπορούν να αποκαλύψουν σφάλματα που παραμένουν δύσκολο να διακριθούν σε μια πλήρη animation.
Η επικύρωση εξετάζει αν το μοντέλο είναι επαρκώς αντιπροσωπευτικό για τη δηλωμένη χρήση του. Μπορεί να περιλαμβάνει σύγκριση με σχετικές παρατηρήσεις, εξέταση γνωστών περιορισμών και ανεξάρτητη αμφισβήτηση. Τα στοιχεία από διαφορετικό χώρο ή κοινό χρειάζονται αιτιολογημένη τεκμηρίωση για να μεταφερθούν. Η επικύρωση δεν είναι καθολική σφραγίδα που καθιστά κάθε μεταγενέστερη εφαρμογή κατάλληλη.
Όπου είναι δυνατόν, κρατήστε τη βαθμονόμηση διακριτή από έναν ανεξάρτητο έλεγχο. Αν οι ίδιες παρατηρήσεις χρησιμοποιήθηκαν τόσο για τη ρύθμιση του μοντέλου όσο και για την απόδειξη της συμφωνίας του με την πραγματικότητα, αναφέρετέ το. Εξηγήστε την αβεβαιότητα της μέτρησης και τις πτυχές της συμπεριφοράς που η σύγκριση δεν καλύπτει. Μια στενή ταύτιση με ένα συνολικό άθροισμα μπορεί να κρύβει λανθασμένα τοπικά μοτίβα ή χρονισμό.
Συγκρίνετε σενάρια με κοινό βιβλίο καταγραφής
Ξεκινήστε από μια τεκμηριωμένη περίπτωση αναφοράς και όχι από μια υποτιθέμενη πρόβλεψη για το τι θα συμβεί. Αλλάζετε τις εισροές για συγκεκριμένο λόγο, καταγράφετε την αιτιολογία και διατηρείτε τα ίδια μέτρα σύγκρισης όπου παραμένουν κατάλληλα. Για στοχαστικά μοντέλα, εξετάστε τη διακύμανση μεταξύ των εκτελέσεων αντί να επιλέγετε μια ευνοϊκή animation. Όπου η μέθοδος είναι ντετερμινιστική, εξηγήστε τους περιορισμούς που προκύπτουν, αντί να υπονοείτε ότι η επαναληψιμότητα αποδεικνύει την ακρίβεια.
| Σενάριο | Ερώτημα τεκμηρίωσης | Επιχειρησιακή αξιολόγηση |
|---|---|---|
| Αρχική διάταξη | Είναι ιχνηλάσιμες οι παραδοχές για τη διάταξη, τον χρονισμό και τη συμπεριφορά; | Επιβεβαιώστε ότι η μελέτη αντιστοιχεί στο τρέχον σχέδιο. |
| Αλλαγμένο μοτίβο άφιξης | Τι υποστηρίζει το εύρος χρονισμού; | Ελέγξτε τον χώρο ουράς και τις διεπαφές με συνεργάτες. |
| Μειωμένη διαθεσιμότητα διαδρομών | Είναι η εναλλακτική πραγματικά εφικτή; | Ελέγξτε τον χώρο υποδοχής, το προσωπικό και την εξουσιοδότηση. |
| Διαφορετικές προτιμήσεις διαδρομής | Πόσο ευαίσθητο είναι το αποτέλεσμα στην επιλογή των επισκεπτών; | Ελέγξτε τις ανάγκες πλοήγησης και παρατήρησης. |
Μην χρησιμοποιείτε τη σύγκριση για να αποκρύψετε μια μη αποδεκτή παραδοχή αναφοράς. Εάν κάθε σενάριο εξαρτάται από μια μη επαληθευμένη είσοδο ή από έναν μη διαθέσιμο πόρο προσωπικού, το κατάλληλο επόμενο βήμα είναι να επιλυθεί αυτή η εξάρτηση. Ένα αποτέλεσμα μπορεί να είναι κατατοπιστικό και ταυτόχρονα ανεπαρκές για μια επιχειρησιακή απόφαση.
Διατηρήστε ανοιχτά τα ερωτήματα αμφισβήτησης
Ποια είσοδος αλλάζει περισσότερο το συμπέρασμα;
Εντοπίστε τις ουσιαστικές ευαισθησίες και το αν η εύλογη μεταβολή των δεδομένων αλλάζει την απόφαση. Δώστε προτεραιότητα σε καλύτερα τεκμήρια όταν μπορούν να μειώσουν ουσιωδώς την αβεβαιότητα.
Ποια παρατήρηση θα αντέκρουε το σχέδιο προγραμματισμού;
Ορίστε την παρατήρηση, την κάλυψή της και τη διαδρομή αναφοράς της. Αποφύγετε την εξάρτηση από μια τιμή πίνακα ελέγχου χωρίς να γνωρίζετε την καθυστέρησή της, την αβεβαιότητα και τα τυφλά της σημεία.
Μπορεί πράγματι να υλοποιηθεί η προτεινόμενη ανταπόκριση;
Ελέγξτε την εξουσιοδότηση, το προσωπικό, τον εξοπλισμό και τον συντονισμό. Μια ανταπόκριση που περιγράφεται σε λογισμικό δεν είναι διαθέσιμη απλώς επειδή η διεπαφή την προσφέρει.
Αυτά τα ερωτήματα θα πρέπει να συζητηθούν με τους αρμόδιους επιχειρησιακούς ειδικούς. Ο μοντελοποιητής μπορεί να κατανοεί το λογισμικό, ενώ άλλο πρόσωπο κατανοεί τον χώρο, την προσβασιμότητα ή τη διεπαφή με τις μεταφορές. Μια δομημένη αξιολόγηση συγκεντρώνει αυτές τις οπτικές χωρίς να επιτρέπει σε κανένα μεμονωμένο εργαλείο να υποκαταστήσει ολόκληρη τη διαδικασία προγραμματισμού.
Αναθέστε την απόφαση σε κατονομαζόμενα πρόσωπα
Καταγράψτε τον υπεύθυνο της απόφασης, τους αξιολογητές, τα τεκμήρια που εξετάστηκαν, τους αποδεκτούς περιορισμούς και τα ζητήματα που παραμένουν ανοιχτά. Διακρίνετε την αξιολόγηση της μεθόδου μοντελοποίησης από την έγκριση των διοργανωτικών ρυθμίσεων της εκδήλωσης. Τα πρόσωπα που έχουν εξουσιοδότηση να αποδέχονται επιχειρησιακό κίνδυνο ή να εγκρίνουν αλλαγή καθορίζονται από τη διακυβέρνηση της εκδήλωσης και από τις ισχύουσες απαιτήσεις, και όχι από τον προμηθευτή του λογισμικού.
Οι αλλαγές μετά την αξιολόγηση χρειάζονται έλεγχο επιπτώσεων. Η μετακίνηση ενός περιπτέρου, η αλλαγή ενός προγράμματος ή το κλείσιμο μιας διαδρομής μπορεί να ακυρώσει μια παραδοχή που φαινόταν δευτερεύουσα. Διατηρήστε τους συνδέσμους εκδόσεων ανάμεσα στις εγκεκριμένες ρυθμίσεις και τη μελέτη. Μετά την εκδήλωση, συγκρίνετε τις παρατηρήσεις με το σχέδιο προγραμματισμού, χωρίς να ξαναγράφετε τις αρχικές παραδοχές ώστε η πρόβλεψη να φαίνεται καλύτερη.
Χρήσιμες ευρύτερες αναφορές είναι το NIST AI Risk Management Framework, η ISO 31000 risk management guidance και η ISO 22320 incident management guidance. Αυτές υποστηρίζουν τη σκέψη διακυβέρνησης· η αναφορά τους δεν αποδεικνύει συμμόρφωση, δεν πιστοποιεί ένα μοντέλο και δεν εγκρίνει ένα φεστιβάλ. Η καθοδήγηση που αφορά συγκεκριμένα εκδηλώσεις από το HSE και το Purple Guide πρέπει να διαβάζεται εντός της δικαιοδοσίας και του πεδίου εφαρμογής της.