Jak przygotować firmę do audytu AI? Lista danych i karta procesu

Co przygotować przed audytem AI?

Przygotuj opis kilku powtarzalnych zadań, przykłady dokumentów bez danych poufnych, listę używanych aplikacji oraz pomiar czasu pracy. Wskaż też osobę, która wykonuje każde zadanie i potrafi ocenić jego wynik. To wystarczy, żeby rozpocząć rozmowę o konkretnych zastosowaniach AI.

Poniższa lista to propozycja AIA do wstępnego przygotowania. Jej rezultatem ma być karta procesu i lista brakujących informacji. Pełny audyt wymaga rozmowy z zespołem, sprawdzenia danych oraz możliwości technicznych.

1. Wybierz zadania, które wracają w każdym tygodniu

Zapisz od 3 do 5 czynności, przy których ludzie szukają informacji, porównują dokumenty, przepisują dane albo przygotowują podobne materiały. Możesz zacząć od zestawienia sprzedaży, wstępnego opracowania zapytania czy porządkowania notatek ze spotkania.

Każdy proces opisz od zdarzenia początkowego do gotowego wyniku. „Sprzedaż” jest za szerokim zakresem. „Przygotowanie szkicu oferty na podstawie zapytania i aktualnej listy usług” pozwala już ustalić wejście, wyjście i osobę sprawdzającą. Zaznacz wyjątki, które wymagają decyzji pracownika.

2. Zmierz dzisiejszy sposób pracy

Dla wybranego zadania zbierz kilka rzeczywistych obserwacji z typowego tygodnia. Zapisuj czas pracy człowieka oraz czas oczekiwania osobno. Dwa dni czekania na zgodę przełożonego nie oznaczają dwóch dni pracy, które AI mogłoby zaoszczędzić.

Uwzględnij szukanie danych, wykonanie, sprawdzenie i poprawki. Zapisz liczbę takich zadań w miesiącu i źródło tej liczby. Jeżeli masz tylko szacunek, oznacz go jako szacunek. Przy małej próbie nie traktuj średniej jako stabilnego wyniku całej firmy.

3. Przygotuj przykłady i listę aplikacji

Wybierz przykłady zwykłego zadania oraz trudniejszego wyjątku. Do każdego dołącz materiał wejściowy i poprawny wynik, jeżeli możesz go udostępnić. Usuń dane klientów, których analiza nie wymaga. Na pierwszą rozmowę wystarczy opis lub zanonimizowany przykład; nie przesyłaj haseł ani kluczy dostępu.

Spisz aplikacje, między którymi pracownik przenosi informacje. Zaznacz właściciela danych, możliwość eksportu oraz ograniczenia dostępu. Nie trzeba na tym etapie znać szczegółów integracji. Warto wiedzieć, kto może je sprawdzić.

4. Wypełnij kartę jednego procesu

Skopiuj poniższe pola do dokumentu lub arkusza. Jedna karta opisuje jedno zadanie. Puste pole jest informacją do uzupełnienia podczas audytu.

• Nazwa zadania i dział: …
• Osoba wykonująca i osoba oceniająca wynik: …
• Początek procesu oraz oczekiwany wynik: …
• Dane wejściowe i miejsce ich przechowywania: …
• Używane aplikacje i sposób przekazywania informacji: …
• Liczba zadań w miesiącu, okres i źródło pomiaru: …
• Czas pracy na zadanie, łącznie ze sprawdzeniem i poprawkami: …
• Najczęstsze wyjątki oraz skutki błędnej odpowiedzi: …
• Dane i działania niedostępne dla AI: …
• Warunek udanego pilotażu i osoba podejmująca decyzję: …

Przykład: przygotowanie zestawienia sprzedaży

Przykład ilustracyjny, z wymyślonymi liczbami: pracownik 20 razy w miesiącu zbiera dane z dwóch plików i przygotowuje zestawienie. Jedno zadanie zajmuje 30 minut. Łączny nakład wynosi 600 minut, czyli 10 godzin miesięcznie. To punkt odniesienia, a nie obiecana oszczędność.

Jeśli pilotaż wykaże 12 minut pracy człowieka na zadanie, łącznie z kontrolą i poprawkami, różnica wyniesie 20 × (30 − 12) = 360 minut, czyli 6 godzin miesięcznie. Od korzyści trzeba jeszcze odjąć czas obsługi wyjątków nieuwzględniony w pomiarze oraz uwzględnić koszty narzędzi, wdrożenia i utrzymania. Odzyskany czas nie staje się automatycznie oszczędnością gotówkową.

Kryterium jakości może brzmieć: wszystkie sumy są zgodne z plikami źródłowymi, brak danych jest oznaczony, a wynik zatwierdza właściciel raportu. Liczby i warunki zastąp własnymi obserwacjami przed podjęciem decyzji.

5. Ustal granice pilotażu

Określ, czy AI ma tylko przygotować szkic, czy również zapisywać dane w aplikacji. Ustal osobę odpowiedzialną za kontrolę, sposób zgłoszenia błędu i warunki zatrzymania testu. Na początek wybierz zadanie, którego wynik można łatwo sprawdzić i poprawić.

NIST AI Risk Management Framework jest dobrowolną ramą zarządzania ryzykiem AI. Może pomóc uporządkować ocenę ryzyk, ale samo użycie checklisty nie potwierdza bezpieczeństwa ani zgodności konkretnego wdrożenia. Nasza karta jest materiałem przygotowawczym, a nie certyfikacją NIST.

Z czym wyjść z rozmowy o audycie?

Ustal zakres procesów do sprawdzenia, potrzebne osoby i materiały oraz oczekiwany rezultat audytu. Po analizie powinno być jasne, co nadaje się do pilotażu, czego jeszcze nie wiadomo i według jakich kryteriów będzie oceniany wynik.

Jeżeli chcesz zacząć od obsługi klientów, w powiązanym poradniku opisujemy test odpowiedzi na 10 zapytań. Kartę procesu wykorzystaj do zebrania danych przed taką próbą.

Źródła

• NIST: AI Risk Management Framework, dobrowolne ramy zarządzania ryzykiem
• AIA: test AI na zapytaniach klientów