Nvidia zbudowała swoje imperium AI na procesorach graficznych. Jednak postawienie 20 miliardów dolarów na Groq sugeruje, że firma nie jest przekonana, że same procesory graficzne zdominują najważniejszą jak dotąd fazę sztucznej inteligencji: uruchamianie modeli na dużą skalę, zwane wnioskowaniem.
Walka o zwycięstwo w wnioskowaniu AI dotyczy oczywiście jej ekonomii. Po przeszkoleniu modelu wszystko, co przydatne (odpowiadanie na zapytanie, generowanie kodu, polecanie produktu, podsumowanie dokumentu, wspomaganie chatbota lub analizowanie obrazu) dzieje się podczas wnioskowania. To moment, w którym sztuczna inteligencja przechodzi od kosztów utopionych do usługi generującej przychody, wraz z całą towarzyszącą presją na obniżenie kosztów, zmniejszenie opóźnień (jak długo trzeba czekać na reakcję sztucznej inteligencji) i poprawę wydajności.
Właśnie z powodu tej presji wnioskowanie stało się kolejnym polem bitwy w branży o potencjalne zyski i dlatego Nvidia w ramach umowy ogłoszonej tuż przed świętami Bożego Narodzenia licencjonowała technologię od Groq – start-upu, który buduje chipy zaprojektowane specjalnie do szybkiego wnioskowania AI przy niskich opóźnieniach, i zatrudniła większość swojego zespołu, w tym założyciela i dyrektora generalnego Jonathana Rossa.
Wnioskowanie to „rewolucja przemysłowa” sztucznej inteligencji
Dyrektor generalny Nvidii, Jensen Huang, jasno wyraził się o wyzwaniu związanym z wnioskowaniem. Choć twierdzi, że Nvidia jest „doskonała na każdym etapie sztucznej inteligencji”, podczas listopadowej telekonferencji poświęconej wynikom firmy za trzeci kwartał powiedział analitykom, że wyciągnięcie takich wniosków jest „bardzo, bardzo trudne”. Nowoczesne wnioskowanie nie jest prostym przypadkiem komunikatu wejściowego i odpowiedzi wyjściowej, ale musi wspierać ciągłe rozumowanie, miliony jednoczesnych użytkowników, gwarantowane małe opóźnienia i bezlitosne ograniczenia kosztowe. Natomiast agenci sztucznej inteligencji, którzy muszą wykonywać wiele etapów, radykalnie zwiększą zapotrzebowanie i złożoność wnioskowania oraz zwiększą ryzyko popełnienia błędu.
„Ludzie myślą, że wnioskowanie jest jednorazowe i dlatego łatwe. Każdy może podejść do rynku w ten sposób” – powiedział Huang. „Ale okazuje się to najtrudniejsze ze wszystkich, ponieważ okazuje się, że myślenie jest dość trudne”.
Wsparcie Nvidii dla Groq podkreśla to przekonanie i wskazuje, że nawet firma, która zdominowała szkolenia w zakresie sztucznej inteligencji, unika tego, jak zakończy się ekonomia wnioskowania.
Huang otwarcie mówił także o tym, jak główne wnioski będą miały wpływ na rozwój sztucznej inteligencji. W niedawnej rozmowie w podcaście BG2 Huang powiedział, że wnioskowanie stanowi już ponad 40% przychodów związanych ze sztuczną inteligencją i przewidział, że „wkrótce wzrośnie miliardokrotnie”.
„To jest ta część, której większość ludzi nie w pełni przyswoiła sobie” – powiedział Huang. „To jest przemysł, o którym rozmawialiśmy. To jest rewolucja przemysłowa”.
Zaufanie dyrektora generalnego pomaga wyjaśnić, dlaczego Nvidia jest skłonna agresywnie zabezpieczać sposób wyciągania wniosków, nawet jeśli podstawowe kwestie ekonomiczne pozostają nierozwiązane.
Nvidia chce opanować rynek wnioskowań
Nvidia zabezpiecza swoje zakłady, aby mieć pewność, że dotrze do wszystkich części rynku, powiedział Karl Freund, założyciel i główny analityk w Cambrian AI Research. „To trochę tak, jakby Meta przejęła Instagram” – wyjaśnił. „To nie tak, że uważali, że Facebook jest zły, po prostu wiedzieli, że istnieje alternatywa i chcieli się upewnić, że nie będzie z nimi konkurować”.
Dzieje się tak pomimo tego, że Huang stanowczo twierdził, że istniejąca platforma Nvidia jest ekonomiczna pod względem wyciągania wniosków. „Podejrzewam, że nie spotkało się to z tak dobrym odbiorem klientów, jak oczekiwali, a może dostrzegli coś w podejściu opartym na pamięci chipowej, stosowanym przez Groq i inną firmę o nazwie D-Matrix” – powiedział Freund, odnosząc się do innego wspieranego przez Microsoft startupu zajmującego się szybkimi chipami AI o niskim opóźnieniu, który niedawno zebrał 275 milionów dolarów przy wycenie na 2 miliardy dolarów.
Freund powiedział, że wejście Nvidii do Groq może wzmocnić całą kategorię. „Jestem pewien, że D-Matrix jest obecnie całkiem szczęśliwym startupem, ponieważ podejrzewam, że ich następna runda będzie miała znacznie wyższą wycenę dzięki (umowie Nvidia-Groq)” – powiedział.
Inni dyrektorzy branży twierdzą, że ekonomika wnioskowania AI zmienia się, w miarę jak sztuczna inteligencja wykracza poza chatboty i przechodzi do systemów czasu rzeczywistego, takich jak roboty, drony i narzędzia bezpieczeństwa. Systemy te nie mogą sobie pozwolić na opóźnienia związane z wysyłaniem i odbieraniem danych do chmury ani na ryzyko, że moc obliczeniowa nie zawsze będzie dostępna. Zamiast tego wolą wyspecjalizowane chipy, takie jak Groq, od scentralizowanych klastrów procesorów graficznych.
Behnam Bastani, założyciel i dyrektor generalny OpenInfer, który koncentruje się na wyciąganiu wniosków AI w pobliżu miejsc generowania danych, na przykład na lokalnych urządzeniach, czujnikach lub serwerach, a nie w odległych centrach danych w chmurze, powiedział, że jego startup koncentruje się na tego typu aplikacjach na „brzegu”.
Podkreślił, że rynek wnioskowania jest wciąż w powijakach. Nvidia stara się opanować ten rynek poprzez umowę z Groq. Ponieważ ekonomia wnioskowania jest nadal nierozwiązana, powiedział, że Nvidia stara się pozycjonować jako firma obejmująca cały stos sprzętu do wnioskowania, zamiast opierać się na pojedynczej architekturze.
„To pozycjonuje Nvidię jako większy parasol” – powiedział.
Ta historia pierwotnie pojawiła się na Fortune.com.
