AIAAktualności
Anthropic i Accenture: ocena modelu AI a test wdrożenia w firmie
Czy ocena modelu wystarcza do wdrożenia AI?
Firma nadal potrzebuje testu na własnym procesie: z używanymi danymi, integracjami i kryteriami poprawnego wyniku. Zapowiedź współpracy Anthropic z Accenture jest dobrym powodem, by odróżnić ocenę samego modelu od sprawdzenia aplikacji, która z niego korzysta.
Co ogłoszono 18 września?
Według komunikatu Anthropic ocenę ma prowadzić Faculty, specjalistyczna firma AI należąca do Accenture. Zakres obejmuje testowanie modeli i ich zabezpieczeń oraz sprawdzanie zachowania w trudnych scenariuszach. Oceniający mają pracować wewnątrz firmy tworzącej modele, z dostępem zbliżonym do pracowników.
Anthropic wskazuje, że szczegóły tego sposobu oceny są jeszcze opracowywane. Nie ma uzgodnionego standardu dostępu do informacji ani raportowania. Pracę Accenture ma bezpośrednio finansować Anthropic. Komunikat opisuje plan współpracy, a nie zakończony audyt lub certyfikat bezpieczeństwa.
Co z tego wynika dla właściciela procesu?
Naszym zdaniem przy wyborze dostawcy warto pytać o zakres oceny, jej ograniczenia i sposób udostępniania wyników. Sama nazwa partnera nie mówi, czy sprawdzono zadanie wykonywane w Waszej firmie.
Przykład ilustracyjny: nawet poprawnie napisane podsumowanie rozmowy może trafić do niewłaściwej sprawy w CRM. W takim przypadku trzeba sprawdzić dopasowanie klienta i zapis w aplikacji. Test jakości tekstu nie obejmuje automatycznie tych czynności.
Trzy elementy do sprawdzenia przed uruchomieniem
Wybierzcie jedno zadanie i zapiszcie oczekiwany wynik. Dla obsługi zapytania mogą to być poprawnie rozpoznana sprawa, szkic oparty na aktualnej ofercie i zadanie dla właściwego opiekuna.
- Przypadki: zwykłe zapytanie, brak danych i sprzeczne informacje. Każdy powinien mieć ustalony sposób obsługi.
- Cały przebieg: od danych wejściowych do miejsca zapisu. Sprawdźcie również kontrolę człowieka i możliwość zatrzymania błędnej operacji.
- Wynik: jakość, czas sprawdzenia i poprawek oraz koszt całego zadania. Warunki odbioru ustalcie przed testem.
Zobacz przebieg, potem zaplanuj własny test
Pokaz obsługi zapytań na stronie AIA pozwala zobaczyć kolejność etapów: wiadomość, wiedza firmy, agent, CRM i zespół. To symulacja bez połączenia z Waszymi kontami. Pomaga omówić proces; nie potwierdza poprawności działania na Waszych danych ani oszczędności u klienta.
Po obejrzeniu pokazu wybierzcie miejsce, w którym człowiek powinien sprawdzić wynik. Z tym punktem i przykładowym zadaniem można rozpocząć rozmowę o pilotażu.