Ramy zarządzania, które kadra kierownicza budowała przez dziesięciolecia, zostały zaprojektowane z myślą o ludziach. Agenci AI to nie ludzie, a różnica między tymi dwoma faktami to miejsce, w którym ryzyko biznesowe akumuluje się najszybciej.
W ciągu ostatniego roku organizacje były zmuszone stawić czoła faktowi, że sztuczna inteligencja jest wdrażana szybciej, niż można nią zarządzać. Rosnące wykorzystanie sztucznej inteligencji typu Shadow ujawnia luki w zakresie tego, kto lub co może działać. Z naszych najnowszych badań wynika, że 91% organizacji korzysta już z agentów AI, ale tylko 10% ma jasną strategię zarządzania nimi.
Agenci AI są teraz operatorami działającymi samodzielnie, bez konieczności przewodzenia przez ludzkiego menedżera.
Ci autonomiczni aktorzy cyfrowi mogą analizować dane, inicjować przepływy pracy i działać w firmach. Choć łatwo jest dostrzec korzyści płynące z szybkości, skali i produktywności, zmiana władzy jest mniej oczywista.
Prawdziwym zagrożeniem związanym z wdrażaniem sztucznej inteligencji w przedsiębiorstwach nie jest to, jak inteligentni są agenci, ale to, ile uprawnień przekazują im menedżerowie. Chodzi o prawa do podejmowania decyzji i o to, co się dzieje, gdy uprawnienia są przekazywane systemom, których organizacje nie mogą w pełni zobaczyć, a tym bardziej kontrolować.
Ostatecznie ryzyko nie polega na tym, że agenci AI będą zachowywać się złośliwie. Będą raczej zachowywać się dokładnie tak, jak zostały skonfigurowane, w systemach, które nigdy nie zostały zaprojektowane z myślą o tożsamościach innych niż ludzkie.
Przez lata firmy budowały modele bezpieczeństwa wokół pracowników. Pracownicy są zatrudniani, certyfikowani, monitorowani i ostatecznie zwalniani po odejściu. Zarządzanie tożsamością umożliwia to: w ten sposób organizacje sprawdzają, kim są pracownicy, z czym mogą się połączyć i do czego są upoważnieni.
Agenci AI łamią ten model. Nie logują się o 9:00 i nie wylogowują o 17:00. Działają nieprzerwanie w wielu systemach i środowiskach chmurowych. Mogą odzyskać wrażliwe dane, aktywować procesy finansowe lub podejmować decyzje skierowane do klienta w ciągu kilku sekund.
Jednak firmy nadal traktują agentów jak oprogramowanie działające w tle, a nie aktorów operacyjnych posiadających prawdziwą władzę.
Niedawne badanie przeprowadzone przez Gravitee, platformę do zarządzania API, wykazało, że tylko 22% organizacji traktuje agentów AI jako niezależne tożsamości, mimo że prawie 90% firm zgłasza podejrzenia lub potwierdzone incydenty bezpieczeństwa z udziałem agentów AI.
Rozważmy typowy scenariusz: firma wprowadza wewnętrznego agenta AI w celu optymalizacji zarządzania pracownikami. Pracownik prosi agenta o przesłanie urlopu, aktualizację danych płacowych i powiadomienie przełożonego. Agent automatycznie łączy się z systemami kadrowymi, platformami finansowymi i narzędziami do współpracy, aby zrealizować żądanie.
Zastanów się, do ilu systemów agent musi uzyskać dostęp, aby zrealizować żądanie. Jakie masz uprawnienia? Z jakich punktów dostępu korzystasz lub które potencjalnie pozostawiasz otwarte? Co się stanie, jeśli coś pójdzie nie tak?
Wzrost wydajności jest realny. Jeśli jednak każdy etap nie jest regulowany przez przejrzystą weryfikację tożsamości, firma może nie wiedzieć dokładnie, jakie uprawnienia zostaną przekazane i jak interweniować w przypadku wystąpienia problemu.
Dlatego właśnie luka w tożsamości jest problemem przywództwa, a nie tylko technicznym.
Tradycyjne modele dostępu zakładają stosunkowo stabilne role i przewidywalne zachowania człowieka. Agenci AI działają poprzez dynamiczne zadania i delegowane uprawnienia. Mogą potrzebować bardzo konkretnych, tymczasowych uprawnień, aby wykonać pojedynczą akcję, a następnie natychmiast przejść do następnego przepływu pracy.
Bez możliwości ciągłej weryfikacji i autoryzacji każdego kroku organizacje ryzykują gromadzeniem rosnącej populacji aktorów innych niż ludzie, posiadających szeroki i stały dostęp (który w wielu przypadkach nigdy nie został celowo przyznany) do systemów krytycznych.
Już teraz jesteśmy świadkami tego, jak organizacje zaczynają wdrażać kod wygenerowany przez sztuczną inteligencję i zautomatyzowane działania w rzeczywistych środowiskach, często szybciej, niż są w stanie nadążyć modele zarządzania. Niedawne incydenty, takie jak naruszenie chatbota McDonald’s, podczas którego słabe kontrole ujawniły miliony rekordów kandydatów, lub gdy agent szyfrujący AI w firmie Replit usunął produkcyjną bazę danych na żywo, pokazują, jak szybko te naruszenia mogą przerodzić się w katastrofy w świecie rzeczywistym.
Agent sztucznej inteligencji skonfigurowany pod kątem optymalizacji decyzji w zakresie łańcucha dostaw może skutkować zobowiązaniami zakupowymi na dużą skalę. Agent obsługi klienta może ujawnić poufne informacje o koncie. Podmiot sporządzający sprawozdania finansowe może rozpowszechniać wrażliwe informacje z wielu źródeł wśród szerokiej populacji.
Wszystkie te przypadki wynikałyby ze źle zarządzanej autonomii.
Organy regulacyjne zaczynają działać. Na kilku rynkach, takich jak Singapur i Australia, decydenci podkreślają, że organizacje są odpowiedzialne za swoje zautomatyzowane systemy.
Stanowi to wyzwanie dla liderów biznesu w zakresie zgodności. Jak udowodnić, który system zainicjował decyzję? Jak wykazać, że dostęp był odpowiedni w momencie podejmowania działania? Jak wstrzymać lub cofnąć uprawnienia, jeśli agent zachowuje się nieoczekiwanie?
Aby chronić agentów AI, organizacje muszą być w stanie odpowiedzieć na trzy podstawowe pytania: gdzie są moi agenci, z czym mogą się połączyć i co mogą robić?
Na szczęście firmy nie muszą wymyślać koła na nowo. Mają już praktyki potrzebne do zarządzania agentami AI: kadra kierownicza musi ich po prostu traktować mniej więcej w taki sam sposób, w jaki traktują pracowników.
W praktyce oznacza to zastosowanie ustalonych zasad bezpieczeństwa pracy w nowym kontekście operacyjnym. Organizacje potrzebują zarządzania cyklem życia agentów. Muszą określić zakres i czas trwania swoich zezwoleń, stale monitorować działalność i wymagać wzmocnionych zezwoleń w przypadku działań wysokiego ryzyka. Zamiast szerokiego i długotrwałego dostępu agenci powinni działać z jednorazowymi danymi uwierzytelniającymi powiązanymi z konkretnymi zadaniami.
Organizacje, które odniosą sukces dzięki przyjęciu sztucznej inteligencji, nie będą tymi, które wdrożą najwięcej sztucznej inteligencji, ani nawet tymi, które wdrożą najbardziej inteligentną sztuczną inteligencję. To oni jasno stwierdzą, że są upoważnieni do działania i będą w rzetelny sposób to udowodnić. W ten sposób sztuczna inteligencja przestaje być eksperymentem (lub ryzykiem), a staje się prawdziwym atutem.
Opinie wyrażane w komentarzach Fortune.com są wyłącznie poglądami ich autorów i niekoniecznie odzwierciedlają opinie i przekonania Fortune.
