AIAPoradnik
Jak ocenić pilotaż AI? Kryteria odbioru i karta błędów
Kiedy pilotaż AI nadaje się do rozszerzenia?
Gdy spełnia ustalone wcześniej kryteria jakości, obsługuje ważne wyjątki i przynosi korzyść po doliczeniu kontroli oraz poprawek. Sama liczba wygenerowanych odpowiedzi nie wystarcza do decyzji. Potrzebujesz zapisanych przypadków, oceny osoby odpowiedzialnej za proces i wyniku porównania z dotychczasową pracą.
Poniżej proponujemy kartę odbioru jednego procesu. To metoda przygotowania próby, a nie uniwersalny próg akceptacji ani opis wyników naszych klientów.
1. Opisz gotowe zadanie
Zamiast „AI pomaga handlowcom” zapisz konkretny rezultat: szkic odpowiedzi oparty na aktualnej ofercie, przypisany do właściwej sprawy i zaakceptowany przez opiekuna. Wskaż, kto potrafi ocenić poprawność oraz czego system nie może sam zatwierdzić.
Oddziel treść od czynności w aplikacji. Dobra odpowiedź zapisana u innego klienta oznacza błąd procesu. Podobnie poprawna suma z dokumentu nie wystarczy, jeśli pominięto drugą stronę załącznika.
2. Wybierz przypadki i zachowaj część do końcowej próby
Zbierz zadania typowe oraz wyjątki: brak ceny w ofercie, sprzeczne ustalenia, nieczytelny dokument czy dwa podobne nazwiska. Określ oczekiwane zachowanie. Gdy danych brakuje, poprawnym wynikiem może być pytanie do pracownika.
Część przykładów wykorzystaj do dopracowania rozwiązania. Końcową ocenę wykonaj także na przypadkach, których nie używano do poprawek. Zapisz wersję modelu, instrukcji i konfiguracji integracji. Po ich zmianie wcześniejszy wynik nie opisuje automatycznie nowej wersji.
Liczba prób zależy od różnorodności zadań i skutków pomyłki. Mała próbka pomaga wykryć problemy; nie dowodzi niezawodności w każdej przyszłej sytuacji.
3. Ustal błędy krytyczne przed pomiarem
Dla każdego kryterium wpisz sposób sprawdzenia i warunek akceptacji. Osoba odpowiedzialna za proces powinna zatwierdzić je przed próbą. Nie dopasowuj progu do wyniku, który już otrzymałeś.
- Poprawność: które pola, liczby i ustalenia muszą zgadzać się ze źródłem?
- Błąd krytyczny: które zdarzenie wymaga zatrzymania testu, np. ujawnienie informacji niewłaściwemu odbiorcy?
- Braki danych: kiedy AI powinno oddać zadanie do sprawdzenia?
- Zapis i wysyłka: jakie działania może wykonać system, a jakie wymagają zatwierdzenia?
- Odpowiedzialność: kto ocenia wynik i podejmuje decyzję o rozszerzeniu?
4. Zapisuj kontrolę i poprawki w karcie
Dla każdego przypadku użyj tych samych pól. Brak pomiaru zostaw pusty i opisz przyczynę. Nie wpisuj zera, jeśli czasu nie mierzono.
- Czas człowieka licz od przygotowania danych do zatwierdzenia wyniku.
- Czas oczekiwania na model zapisz osobno, jeżeli pracownik może wtedy wykonać inne zadanie.
- Dolicz obsługę wyjątków i koszty narzędzi. Przy ocenie wdrożenia uwzględnij również utrzymanie i koszt uruchomienia.
ID przypadku: … Rodzaj: typowy / wyjątek Oczekiwany wynik i źródło: … Wynik AI: … Ocena: poprawny / wymaga korekty / błąd krytyczny Opis błędu: … Minuty pracy bez AI: … Minuty pracy z AI, łącznie z kontrolą i poprawkami: … Wersja rozwiązania: … Oceniający i data: …
Przykład: wysoka poprawność nie zamyka odbioru
Przykład syntetyczny: sprawdzono 20 spraw. W 16 wynik był poprawny bez zmian, 3 wymagały korekty, a w 1 szkic przypisano do niewłaściwego klienta. Udział wyników bez korekty to 16 ÷ 20 = 80%. Jeżeli uzgodniono, że błędne przypisanie klienta zatrzymuje pilotaż, warunek odbioru nie został spełniony.
Załóżmy dodatkowo, że praca bez AI zajęła łącznie 400 minut, a z AI, kontrolą i poprawkami 250 minut. Różnica to 150 minut w tej próbie. Nie przeliczaj jej od razu na cały rok ani na wzrost zysku. Wynik wymaga najpierw usunięcia błędu krytycznego i sprawdzenia kolejnych reprezentatywnych zadań.
Po poprawce powtórz przypadek błędu, zadania podobne oraz wcześniej poprawne przykłady. Pozwala to sprawdzić, czy naprawa nie pogorszyła innych wyników. Wszystkie liczby w tym przykładzie są wymyślone i nie opisują klienta AIA.
5. Podejmij decyzję i ustal kontrolę po starcie
Wybierz jeden z trzech wyników: rozszerzamy w określonym zakresie, poprawiamy i powtarzamy próbę albo kończymy pilotaż. Do decyzji dołącz niespełnione kryteria, odpowiedzialną osobę i termin następnego sprawdzenia.
Po wdrożeniu zachowaj przegląd błędów i możliwość zatrzymania automatyzacji. Zmiana oferty, dokumentów lub integracji może zmienić wynik, mimo że model pozostał ten sam.
Jeśli dopiero wybierasz proces, zacznij od naszego pokazu obsługi zapytań i karty przygotowania do audytu. Pokaz jest symulacją. Przy odbiorze potrzebny będzie rzeczywisty test uzgodnionego rozwiązania.