AIAAktualności
Agent AI już działa. Kto zauważy błąd i jak szybko zareaguje?
Nadzór musi mieć właściciela i sposób reakcji
Po uruchomieniu agenta AI firma potrzebuje zapisu tego, co zrobił, reguł zatrzymania niepożądanych działań oraz osoby, która odbierze sprawę wymagającą decyzji. Sam komunikat „zadanie zakończone” nie odpowiada na pytanie, czy rezultat jest poprawny.
Punktem wyjścia do tej analizy jest raport Anthropic opublikowany 17 września, opisujący pomiary z sierpnia 2026 r. Autorzy rozdzielają pokrycie monitorowaniem, czas przeglądu i udział eskalacji. Odróżniają też kontrolę przed wykonaniem działania od przeglądu już zapisanej aktywności. To pomiary wewnętrznej platformy badawczej producenta, nie wyniki wdrożeń AIA.
Trzy miary, które warto rozdzielić
Anthropic definiuje pokrycie jako udział aktywności objętej monitoringiem, czas przeglądu jako opóźnienie kontroli automatycznej i ludzkiej, a eskalacje jako blokady, przekierowania lub sprawy oznaczone do dalszej oceny. Raport podkreśla również potrzebę sprawdzania, czy monitoring wykrywa znane nieprawidłowości.
Nasz wniosek dla firmy: każda miara powinna odpowiadać na osobne pytanie. Niski udział alarmów może oznaczać spokojną pracę, ale także niewykrywanie problemów. Dlatego rejestr alarmów trzeba zestawiać z kontrolnymi przykładami, w których z góry wiadomo, że agent powinien się zatrzymać.
- Pokrycie: które działania są kontrolowane, a które pozostają poza monitoringiem? Zapisz także liczbę wszystkich działań w tym samym okresie.
- Czas reakcji: ile mija od zdarzenia do wykrycia, od alarmu do przyjęcia sprawy oraz od przyjęcia do decyzji? Rozdziel te czasy.
- Eskalacje: ile spraw zatrzymano lub przekazano do człowieka i jaki to udział wszystkich działań objętych pomiarem w tym samym okresie? Zapisz powód i decyzję, aby odróżnić potrzebną interwencję od fałszywego alarmu.
Co kontrolować przed działaniem, a co po nim?
Proponujemy najpierw spisać czynności agenta i konsekwencje pomyłki. Tam, gdzie skutku nie da się łatwo cofnąć, kontrola powinna poprzedzać wykonanie. Przykładem jest wysłanie wiadomości na zewnątrz lub zmiana danych, od których zależy dalsza praca zespołu.
Po wykonaniu można sprawdzać między innymi zgodność przygotowanego zestawienia ze źródłem, wzrost liczby poprawek lub nietypową serię ponowień. Przegląd po fakcie wymaga jednak zapisanych danych i ustalenia, co można poprawić oraz kto ma do tego dostęp.
To propozycja organizacji procesu, którą trzeba dopasować do konkretnego zadania. Zasady blokady, dopuszczalny czas oczekiwania i uprawnienia ustalacie przed oddaniem procesu do regularnej pracy.
Przykład rejestru interwencji
Poniżej fikcyjny przykład obsługi zapytania. Agent przygotował odpowiedź, lecz nie znalazł potwierdzonego terminu realizacji. W tym scenariuszu reguła wymaga zatrzymania wysyłki i przekazania pytania opiekunowi. Godziny służą wyłącznie pokazaniu sposobu pomiaru.
- 09:00: agent oznacza brak terminu i blokuje wysyłkę. W rejestrze zapisuje powód oraz dokument, którego brakuje.
- 09:03: opiekun przyjmuje sprawę. Czas oczekiwania na przyjęcie wynosi 3 minuty.
- 09:08: opiekun potwierdza termin na podstawie aktualnego źródła i zatwierdza poprawioną treść. Czas od alarmu do decyzji wynosi 8 minut.
- W osobnym polu pozostaje wynik wysyłki. Zatwierdzenie odpowiedzi nie jest jeszcze dowodem jej doręczenia.
Sprawdź również sytuację, w której nikt nie odbiera alarmu
Właściciel procesu powinien określić, co następuje po przekroczeniu ustalonego czasu reakcji: przekazanie do zastępcy, wstrzymanie kolejnych czynności albo oznaczenie sprawy do pilnego przeglądu. Samo wysłanie powiadomienia nie zamyka problemu.
W kontrolowanej próbie użyjcie fikcyjnych danych, brakującego dokumentu i celowo niewłaściwych uprawnień. Sprawdźcie, czy pojawia się właściwy alarm, kto go otrzymuje i czy dalsze działanie rzeczywiście zostało zatrzymane. Próbę należy uzgodnić tak, aby nie wysłać testowej wiadomości do klienta ani nie zmienić prawdziwej sprawy.
W katalogu własnych automatyzacji AIA opisujemy między innymi alertowanie o błędach i procesy z decyzją człowieka. Ten opis pokazuje zakres rozwiązań; nie potwierdza, że każde zdarzenie zostało wykryte lub doręczone. Przy rozmowie o Waszym procesie zacznijmy od jednej czynności, reguły zatrzymania i osoby odpowiedzialnej.