Rosnący odsetek amerykańskich pracowników biurowych, którzy w swojej codziennej pracy eksperymentowali ze sztuczną inteligencją, prawdopodobnie miał chwile zwątpienia co do swojej długoterminowej stabilności pracy.
Jednak zgodnie z najnowszymi danymi opublikowanymi przez MIT, pomimo wszystkich ulepszeń sztucznej inteligencji w ostatnich latach, technologia ta nadal jest w stanie osiągnąć jedynie niski poziom w określonych zadaniach w miejscu pracy. Nawet wtedy możesz nadal popełniać duże błędy.
Pracownicy martwiący się, że wkrótce zostaną zastąpieni przez sztuczną inteligencję, prawdopodobnie pocieszą się nowymi badaniami MIT, które przedstawiają narrację o przejęciach stanowisk przez sztuczną inteligencję nie tyle jako szybki film akcji, ile bardziej jako powolny utwór do przemyśleń.
Z opublikowanego w czwartek wstępnego badania wynika, że sztuczna inteligencja stopniowo staje się coraz lepsza w wykonywaniu różnorodnych zadań w różnych zawodach. Jednak w większości przypadków wydajność obecnie dostępnych modeli jest podobna do wydajności rozczarowanego stażysty: spełnia minimalne wymagania, ale ogólnie ma trudności z wykonaniem wysokiej jakości pracy bez udoskonalania jej przez ludzką rękę.
Czyszczenie baru
Badacze z MIT wykorzystali 41 różnych LLM, w tym wersje Claude, Gemini i ChatGPT, do analizy wydajności ponad 11 000 zadań, głównie tekstowych, na różnych stanowiskach wymienionych przez Departament Pracy. Ich wyniki zostały następnie ocenione przez ludzi z prawdziwym doświadczeniem zawodowym w tych dziedzinach. Celem było sprawdzenie, jak często wymiana pracownika AI może dać wynik, który menedżer uznałby za akceptowalny bez jakiejkolwiek edycji przez człowieka, a następnie ocenić jego jakość.
Naukowcy odkryli, że sztuczna inteligencja stała się z biegiem lat bardziej niezawodna w wielu rodzajach pracy, ale nadal nie spełnia jej oczekiwań w przypadku podniesienia ryzyka lub standardów. W badaniu MIT zastosowano skalę ocen od 1 do 9, aby ocenić wydajność sztucznej inteligencji, przy czym 7 zdefiniowano jako „minimalnie wystarczające”, co oznacza, że praca jest użyteczna w obecnej postaci i nie wymaga modyfikacji. Do końca 2025 r. modele sztucznej inteligencji uzyskały 7 punktów w przypadku około 65% zadań.
Co najważniejsze dla firm rozważających zastąpienie części swoich pracowników sztuczną inteligencją, dane z MIT sugerują, że sztuczna inteligencja ma trudności z wykonywaniem bardziej skomplikowanych zadań. Niezależnie od tego, ile czasu model AI potrzebował na wykonanie zadania, prawdopodobieństwo sukcesu przy ocenie jakości wynoszącej 9 lub „powyżej” nigdy nie przekraczało 50%. Innymi słowy, gdy zadanie wymaga wielu kroków, kreatywności i precyzji, zastąpienie sztucznej inteligencji jest bardziej prawdopodobne, że zakończy się niepowodzeniem niż sukcesem.
Badanie wpisuje się w niektóre aspekty obecnej narracji na temat wdrażania sztucznej inteligencji w amerykańskich firmach. Firmy korzystające ze sztucznej inteligencji częściej automatyzują rutynowe zadania i role po odejściu na stanowiska podstawowe, podczas gdy niektóre wysoce techniczne umiejętności, zwłaszcza cyfrowe, w rzeczywistości są kojarzone z dodatkowymi wynagrodzeniami.
Znalazło to odzwierciedlenie w danych z MIT, które wykazały niższy średni wskaźnik sukcesu w przypadku wykwalifikowanych stanowisk na stanowiskach prawniczych i informatycznych, podczas gdy modele sztucznej inteligencji ogólnie łatwiej radziły sobie z zadaniami tekstowymi związanymi z zawodami budowlanymi i konserwacyjnymi.
Firmy, które eksperymentowały z pełną automatyzacją niektórych części swojej pracy, borykają się z coraz większymi trudnościami. W ubiegłym roku Deloitte przygotował dwa raporty dla klientów rządowych w Australii i Kanadzie i w obu przypadkach stwierdzono, że są one pełne kłamstw. Odkryto, że media, takie jak CNET i Sports Illustrated, wykorzystują sztuczną inteligencję do generowania niedokładnych historii z wymyślonymi tytułami. Prawnicy również polegali na sztucznej inteligencji przy przygotowywaniu swoich dokumentów, a jedna z firm prawniczych przeprosiła publicznie w zeszłym roku po tym, jak wyszło na jaw, że we wniosku o ogłoszenie upadłości w jednej z jej spraw pojawiły się fałszywe wezwania wygenerowane przez sztuczną inteligencję.
Anegdotyczne dowody i dane z MIT sugerują, że sztuczna inteligencja nadal wymaga ludzkiej ręki, aby zmaksymalizować korzyści, chociaż technologia szybko się poprawia. Badacze z MIT oszacowali, że wskaźnik powodzenia sztucznej inteligencji w przypadku analizowanych zadań wzrastał każdego roku aż o 11 punktów procentowych dzięki bardziej wydajnym modelom.
Autorzy szacują, że do 2029 r. większość modeli sztucznej inteligencji będzie w stanie wykonać od 80% do 95% zadań tekstowych przy minimalnie wystarczającym benchmarku.
Nadal nie wiadomo, czy sztuczna inteligencja będzie kiedykolwiek w stanie skalować się w kierunku doskonałej, a nawet doskonałej wydajności.
„Powszechna automatyzacja, szczególnie w dziedzinach o niskiej tolerancji błędów, może być jeszcze daleka od ideału” – napisali naukowcy.
