(Zdjęcie: Radowan Nakif Rehan w Unsplash)
(Nota redaktora: ten post gościnny jest autorstwa Marcelo Calbucci, wieloletniego lidera społeczności startupów i technologii w Seattle.)
W tym miesiącu przeprowadziłem ankietę z założycielami fundacji z Seattle na wczesnym etapie rozwoju na temat korzystania przez nich z narzędzi i agentów AI. W danych pojawiło się kilka niespodzianek (i to nie w oczekiwanym kierunku) oraz trendów, o których warto mówić.
Wielkość próby obejmuje 22 start-upy, z których każdy składa się z od jednego do pięciu inżynierów oprogramowania, co daje w sumie 42 osoby. To, co sprawia, że warto zrozumieć tę kohortę, to fakt, że są to start-upy oparte na sztucznej inteligencji, które rozpoczęły działalność w czasach, gdy sztuczna inteligencja mogła kodować. Daje nam to wgląd w przyszłość firm technologicznych.
Pierwsze pytanie, które zadałem w ankiecie, dotyczyło odsetka kodu produkcyjnego napisanego przez sztuczną inteligencję. Napisałem to pytanie wyraźnie, aby wykluczyć testy jednostkowe, skrypty, dokumenty i inne artefakty, które nie są związane z podstawową propozycją wartości firmy. Jeśli jest coś, co wiesz o kodowaniu AI, to to, że generuje ono duże ilości testów jednostkowych, plików Readme i skryptów. Nic z tego nie ma nic wspólnego z kodem, który dostarcza wartość klientowi.
Oto zaskakujący fakt: spośród 22 startupów cztery (18%) stwierdziły, że sztuczna inteligencja pisze 100% ich kodu. To niesamowite! Nie oznacza to, że te osoby nie sprawdzają i nie proszą sztucznej inteligencji o udoskonalenie kodu. Oznacza to jednak, że nie piszą kodu w IDE. Jest 11 startupów (50%), w których AI pisze od 80% do 99% kodu. Sumując cztery przypadki, w których sztuczna inteligencja pisze wszystko, okazuje się, że w przypadku 68% startupów sztuczna inteligencja pisze ponad 80% kodu produkcyjnego. Z drugiej strony trzy startupy (13,6%) stwierdziły, że sztuczna inteligencja pisze mniej niż 50% ich kodu.
Wybierz swoją broń
Z informacji, że w prasie pojawia się Cursor, można by pomyśleć, że wykorzystanie tej grupy jest bliskie 100%. W naszej próbie spośród 42 programistów z 22 unikalnych startupów „tylko” 23 z nich (54,7%) korzysta z Cursora. We wrześniu programiści Cursor wydali średnio 113,63 dolarów na osobę. Jednak najpopularniejszym narzędziem jest Claude Code, z którego korzysta 64,3% programistów, a we wrześniu wydało 167,41 dolarów na osobę. Claude jest preferowanym narzędziem dla startupów, ponieważ korzysta z niego 16 z 22 (72,7%).
Po Claude i Cursorze jest duża przepaść, a OpenAI Codex zajmuje odległe trzecie miejsce, a korzysta z niego siedem startupów, co stanowi 12 z 42 programistów. Średnie wydatki na OpenAI Codex we wrześniu wyniosły 48,49 dolarów na osobę. Czwarte i piąte miejsce zajęły GitHub Copilot i Gemini CLI firmy Google. Korzystało z niego odpowiednio 9,52% i 4,76% programistów.
Każdy inżynier oprogramowania wydał średnio 182,55 dolarów na pięć najważniejszych narzędzi AI wymienionych powyżej, a niektóre startupy wydają ponad 400 dolarów na osobę.
Założyciele wspomnieli również, że do tworzenia kodu produkcyjnego używają różnych narzędzi, w tym Lovable, Devplan, Mentat, Factory.ai, Jetbrains Junie, Warp i Figma.
Barykady
Na pytanie, co uniemożliwia szersze wykorzystanie sztucznej inteligencji do kodowania, główną skargą była jakość kodu. Kolejną przeszkodą na drodze do szybszego wdrożenia jest krzywa uczenia się, jaką trzeba uzyskać, aby agent robił to, co chcesz.
Jeśli chodzi o frustrację, grupa ta podnosi trzy kluczowe kwestie. Po pierwsze, jakość wyniku, która wymaga znacznych przeróbek. Po drugie, rozbieżność między oczekiwaniami a rzeczywistością na podstawie tego, co wszyscy słyszą. Wreszcie najczęstszą frustracją (i zdecydowanie wczuwam się w tę sytuację) jest zarządzanie kontekstem i radzenie sobie z dużymi bazami kodu.
Co dalej?
W ankiecie zapytałem ich, czy zamierzają nadal korzystać z narzędzi i agentów AI, aby pomóc w rozwoju produktu. W ankiecie zapytano założycieli, czy zamierzają dodać, usunąć, zwiększyć lub zmniejszyć wykorzystanie każdego narzędzia. Zdecydowanie największym zwycięzcą został Codex – dziewięć startupów (40,9%) stwierdziło, że jeszcze z niego nie korzysta, ale planuje to zrobić w czwartym kwartale. Po normalizacji danych pod kątem oczekiwań na IV kwartał Claude utrzyma prowadzenie, ale Codex dorówna liczbie startupów. Kursor i GitHub Copilot będą miały tendencję spadkową, a każdy startup będzie informował, że przestanie go używać. Wreszcie, Gemini CLI odnotowało niewielki wzrost popularności – trzy start-upy twierdziły, że przetestowały je w czwartym kwartale.
W przeciwieństwie do wielu innych aspektów inżynierii oprogramowania, takich jak wybór dostawcy chmury, języka czy bazy danych, narzędzia i agenci AI nie są rynkiem o sumie zerowej. W tym badaniu 68,2% startupów korzystało z więcej niż jednego narzędzia AI, aby pomóc w opracowaniu kodu produkcyjnego. Zgodnie z deklarowaną intencją w czwartym kwartale liczba ta wzrośnie do 86,4%.
