Autonomiczne agenty AI to tykająca bomba zegarowa bez odpowiednich zabezpieczeń

Większość z nas zastanawia się, czy rok 2025 będzie rokiem, w którym agenci sztucznej inteligencji (AI) wreszcie przestaną sugerować utwory do playlist i zaczną rządzić światem. Niewiele później pojawi się autonomiczny agent AI — zasadniczo AI, który nie tylko myśli samodzielnie, ale może również poprosić o podwyżkę.

Jednak w obliczu ryzyka egzystencjalnego (czy ktoś chce zrezygnować z autonomii?), czy istnieje strategia zabezpieczeń umożliwiająca dostarczanie bezpiecznej AI? Skupmy się na najważniejszych zagrożeniach i omówmy podejście, które można zastosować, aby wdrożyć mechanizmy kontroli we właściwym miejscu, dysponując odpowiednimi dowodami i zapewniając właściwy nadzór człowieka. 

Szeroki świat zagrożeń związanych z agentami AI 

Najstarsi z nas dorastali, obawiając się dystopijnych scenariuszy z Odysei kosmicznej czy Łowcy androidów, podczas gdy najmłodsi pamiętają WALL-E i korzyści, jakie AI mogłaby przynieść ludzkości.

Dziś liderzy technologiczni mierzą się z zestawem natychmiastowych, lecz krytycznych zagrożeń (nadal godnych Hollywood), które hamują rozwój operacyjny. Do najczęściej omawianych przez liderów technologicznych w salach zarządów należą: 

• Utrata skutecznego nadzoru człowieka, w tym nad wieloma drobnymi, kumulującymi się decyzjami (czyli, jak się czasem mówi, oglądanie procesu powstawania kiełbasy);
• Wpływ psychologiczny na poszczególne osoby, w tym niezdrowe lub szkodliwe przywiązanie użytkowników;
• Nieautoryzowane lub złośliwe działania;
• Znaczący wpływ na zdrowie, bezpieczeństwo lub dobrobyt finansowy w wyniku wadliwego lub stronniczego podejmowania decyzji; oraz
• Manipulacja lub aktywny przymus powodują, że poszczególne osoby podejmują decyzje, których w innych okolicznościach mogłyby nie podjąć.

Inne zagrożenia obejmują prywatność, kwestie związane z danymi oraz szeroki wpływ na społeczeństwo. Jeśli czytaliście historie o „farmach botów” AI rozpowszechniających dezinformację dla osiągnięcia korzyści politycznych, znacie ten wpływ.

Gdy AI zyskuje możliwość skalowania decyzji dotyczących codziennych zadań (dokąd jeździmy, co jemy, co oglądamy) bez udziału człowieka, jaki ma to wpływ na jednostki, społeczeństwo i nasz wspólny kierunek rozwoju? 

Jednym z ostatnich zagrożeń, które musimy podkreślić, związanym z wieloma wymienionymi powyżej kwestiami i być może najbardziej egzystencjalnym, jest niezdolność agentów AI do oceny skali i wpływu wynikających z ich działań.

Agent AI zawsze doskonale wykona polecenia swoich programistów. Brakuje mu jednak ludzkiej zdolności do osiągnięcia równowagi między procesem, etyką, efektywnością, przejrzystością, szybkością, zrozumieniem, wpływem na społeczeństwo itd.

Agent AI nie jest w stanie zrównoważyć wszystkich tych rzeczywistych i ludzkich czynników, aby osiągnąć stan „wystarczająco dobry” lub stan równowagi. Agent AI będzie skupiony wyłącznie na jednym celu — maksymalizacji realizacji zadania w możliwie największym stopniu.

Światowej sławy ekspert w dziedzinie AI, profesor Yoshua Bengio, wraz z innymi ekspertami zauważył, że zagrożenia związane z agentami AI są najbardziej niepokojące spośród wszystkich zagrożeń generatywnej AI oraz że modele te mogą optymalizować działania pod kątem celu, który jest nieznany i niezrozumiały dla ludzi (nawet jeśli cele zostały wyznaczone przez ludzi). Mogłoby to mieć katastrofalne konsekwencje. 

Organy regulacyjne wymagają kontroli popartych dowodami

Mając na uwadze te zagrożenia, organy regulacyjne na całym świecie kładą fundamenty pod ustanowienie przez liderów technologicznych skutecznych mechanizmów kontroli tych zagrożeń (choć robią to ostrożnie), informując organizacje, co na tym etapie jest, a co nie jest akceptowalne w naszych społeczeństwach.

W Stanach Zjednoczonych agencja informacji konsumenckiej oraz branża hipoteczna rozważały zastosowanie zautomatyzowanego podejmowania decyzji w procesach oceny zdolności kredytowej i analizy wniosków hipotecznych. Biuro Ochrony Finansowej Konsumentów (CFPB) szybko wydało wytyczne sprzeciwiające się takiemu wykorzystaniu, stwierdzając: „Nie ma specjalnego wyjątku dla sztucznej inteligencji”, ponieważ zbiory danych wykorzystywane do podejmowania decyzji nie zawsze były istotne dla sytuacji finansowej danej osoby. 

Po drugiej stronie Atlantyku unijne rozporządzenie w sprawie AI wymieniło zestaw zakazanych praktyk, które miały wejść w życie w lutym 2025 roku. Wśród zakazanych praktyk znajduje się wykorzystywanie AI do oceniania społecznego, czyli zasadniczo używanie systemów AI do oceny lub klasyfikowania osób na podstawie ich zachowań społecznych lub cech. Podobnie jak w przypadku obaw CFPB, UE koncentruje się na niezgodnym z prawem i stronniczym podejmowaniu decyzji (lub kategoryzowaniu) dotyczących osób i zdecydowała się całkowicie zakazać tego rodzaju zachowań systemów AI. 

Ustanowienie fundamentów 

Na szczęście pierwsza fala generatywnej AI zmusiła społeczeństwo, zarządy i zespoły kierownicze do rozpoczęcia analizy złożonych kwestii stronniczości, halucynacji oraz znaczącego wpływu wynikającego z postępów naszych modeli.

Liderzy doszli również do dwóch podstawowych zasad dotyczących zagrożeń i możliwości związanych z agentami AI. 

1. Każda organizacja planująca wdrożenie agentów AI musi mieć niezależny i kompleksowy proces oceny ryzyka dla każdego przypadku użycia. Formalny proces oceny ryzyka przypadku użycia określi sposób zarządzania ryzykiem własnym organizacji oraz sposób wdrożenia jej agenta AI. Aby ustanowić ten proces, należy upewnić się, że organizacja powołała zespół międzyfunkcyjny (mający kluczowe znaczenie dla zapewnienia szerokiego zakresu oceny wszystkich rodzajów ryzyka związanych z agentami AI), który koncentruje się na kompleksowej ocenie ryzyka agenta AI, w tym:
   • Identyfikacja i inwentaryzacja istotnych czynników ryzyka obejmujących takie rodzaje ryzyka jak ryzyko operacyjne, reputacyjne, prawne, związane ze zgodnością, etyką, technologią i bezpieczeństwem informacji
   • Mapowanie oczekiwań dotyczących kontroli i nadzoru na najlepsze praktyki w zakresie zarządzania pojawiającym się ryzykiem związanym z AI, w tym te opracowane przez Międzynarodową Organizację Normalizacyjną (ISO) i Narodowy Instytut Norm i Technologii (NIST), a także nowe mechanizmy kontroli branżowej (zarówno zautomatyzowane, jak i z udziałem człowieka) oraz
   • Identyfikacja ryzyka rezydualnego wynikającego z przypadków użycia agentów AI.
2. Nie możemy polegać na dostawcach modeli w zakresie zapewnienia niezbędnych narzędzi bezpieczeństwa. Organizacje muszą niezależnie od dostawców modeli opracować mechanizmy ochronne i narzędzia zapewniające zgodność, aby utrzymać odpowiednią kontrolę nad naszymi systemami generatywnej AI.
   • Bezpieczeństwa modeli nie można pozostawiać deweloperom modeli. Model GPT-4o firmy OpenAI wypada gorzej (o 21%) w porównaniu z modelami opracowanymi wewnętrznie pod względem zabezpieczania modeli i innych zadań związanych ze zgodnością w zakresie bezpieczeństwa. Dostawcy modeli mogą mieć wąskie definicje bezpieczeństwa lub mechanizmy ochronne nieodpowiednie dla wielkości, złożoności, tolerancji ryzyka lub wymagań etycznych organizacji.
   • Co oznacza przekazanie kontroli nad bezpieczeństwem komukolwiek innemu niż własna organizacja? Organizacje muszą uwzględnić ryzyko uzależnienia od niezamierzonych (awarie usług, uprzedzenia ukryte) lub zamierzonych (brak przejrzystości, z czasem niezgodne z celami modele) zagrożeń bezpieczeństwa powodowanych przez dostawcę modelu. 

Modułowe mechanizmy ochronne dla agentów AI 

Jak zatem, jako liderzy technologiczni, powinniście myśleć o stosowanych mechanizmach ochronnych (tj. mechanizmach kontroli) służących ograniczaniu wspomnianych powyżej zagrożeń?

Na szczęście jest to obszar, w którym istnieje wiele skutecznych teorii, dlatego powinniśmy zwrócić uwagę na czołowych naukowców i praktyków zajmujących się AI, w tym profesora Yoshua Bengio, a także innych wybitnych naukowców, takich jak laureat Nagrody Nobla profesor Geoffrey Hinton, profesor Max Tegmark z Massachusetts Institute of Technology oraz wielu innych. Rada? Dwuczęściowa…

1. Podzielić agentową AI na modułowe zadania i przepływy pracy 
2. Ustanowić mechanizmy ochronne i mechanizmy kontroli dla każdego odrębnego kroku 

Podzielenie procesu tworzenia modelu agentowej AI na mniejsze, modułowe zadania w naturalny sposób zmniejsza ryzyko zautomatyzowanego tworzenia, wspiera analizę przyczyn źródłowych oraz ułatwia interwencję i nadzór człowieka.

Na przykład zamiast polecać agentowej AI „napisanie raportu biznesowego za czwarty kwartał analizującego przepływy pieniężne”, należy skonfigurować agenta AI tak, aby realizował zadanie etapami, w tym:

1) Utworzenie tabeli przestawnej w arkuszu Excela w celu uporządkowania przepływów pieniężnych według miesiąca i organizacji,

2) Porównanie z poprzednimi kwartałami oraz

3) Podsumowanie ogólnych trendów w raporcie!

Po ustanowieniu takiej struktury należy skonfigurować mechanizmy ochronne dla każdego odrębnego kroku. Traktując systemy agentowe jako narzędzia, a nie autonomiczne systemy działające od początku do końca, można zapobiec katastrofalnym skutkom, takim jak agentowe systemy AI podstępnie zmieniające liczby (co według dokumentacji najnowszy model firmy OpenAI, o1, robi w 19% przypadków).

Wdrożenie mechanizmu ochronnego na każdym etapie procesu umożliwia organizacjom ustanowienie skutecznych, szczegółowych i rygorystycznych poziomów kontroli oraz nadzoru nad tym, jakiego rodzaju danych agenci mogą używać, w jaki sposób mogą ich używać oraz jakie wnioski można wyciągać.

W tym momencie najważniejsze stają się dowody (i monitorowanie), które wdrażasz. Bieżące raportowanie zgodności, szkolenia, przechowywanie dokumentacji, dzienniki audytowe, niezależne walidacje oraz raportowanie dotyczące zarządzania i protokoły eskalacji odgrywają rolę w zapewnianiu wglądu w rozległy ekosystem interesariuszy, których może mieć agent AI. 

Kluczowe pytania, które należy zadać

Ostatecznie każdy lider techniczny musi zadać i uzyskać odpowiedzi na kilka kluczowych pytań, zanim zdecyduje się na wdrożenie agentów AI w swoim sektorze:

• Czy jesteśmy komfortowo z kontrolami, które mamy do dyspozycji, aby ograniczyć nieodłączne ryzyka zidentyfikowane w związku z naszym przypadkiem użycia?
  • Jeśli mamy ramy kontroli, czy jesteśmy komfortowo z zarządzaniem nadzorem nad tymi kontrolami?
  • Jeśli nie mamy wdrożonych kontroli, czy powinniśmy kontynuować?
  • Czy mamy wdrożone ramy umożliwiające ciągłe monitorowanie nowych zagrożeń wynikających z postępów w dziedzinie agentowej sztucznej inteligencji?
• Czy niezależnie oceniliśmy nasze modele stron trzecich?
  • Czy dysponujemy testami porównawczymi umożliwiającymi ocenę wydajności względem oczekiwanych przez nas wartości i wbudowanych mechanizmów ochronnych?
  • Czy uważamy, że mechanizmy kontroli bezpieczeństwa są zgodne z naszymi standardami i czy mamy nad nimi kontrolę? 
• Jaką rolę będzie odgrywał nadzór człowieka podczas naszego wdrożenia?
  • Czy nasza organizacja będzie dysponować odpowiednimi ludźmi, procesami i technologią, aby aktywnie nadzorować naszych agentów sztucznej inteligencji?
  • Czy akceptujemy, że zadania w ramach naszego przypadku użycia będą wykonywane autonomicznie?  

Odpowiedzi mogą się Wam nie podobać albo mogą nie prowadzić do poziomu apetytu na ryzyko, który Wasza organizacja jest gotowa zaakceptować, ale jak to się mówi, prawda się nie zmienia tylko dlatego, że postanawiamy jej nie dostrzegać! 

Zasubskrybuj biuletyn The CTO Club, aby uzyskać więcej informacji na temat sztucznej inteligencji.