Badanie Anthropic: wiedza dziedzinowa bije doświadczenie programistyczne w pracy z agentami
Siedem miesięcy obserwacji 235 000 użytkowników przyniosło wynik, który wywraca intuicję: w kodowaniu z agentami często wygrywa nie inżynier, lecz osoba, która dobrze zna problem.
Przez siedem miesięcy Anthropic przyglądał się temu, jak 235 000 osób tworzy oprogramowanie z pomocą agentów AI. Wniosek jest zaskakujący: o sukcesie częściej decyduje znajomość dziedziny niż lata spędzone przy kodzie.
W skrócie
- Badanie objęło 235 000 użytkowników przez 7 miesięcy realnej pracy z agentami.
- Zawody menedżerskie wypadały lepiej od inżynierów oprogramowania w zweryfikowanej skuteczności kodowania.
- Udział sesji typu „naprawianie zepsutego kodu" spadł z 33% do 19%.
- Dystans między użytkownikami technicznymi i nietechnicznymi się nie powiększył - a to otwiera tworzenie software’u dla nowych grup.
Co dokładnie zmierzono
To nie ankieta, tylko obserwacja realnej pracy. Przez siedem miesięcy przeanalizowano zachowania 235 000 użytkowników tworzących oprogramowanie z agentami. Kluczowe było mierzenie zweryfikowanego sukcesu - czy zadanie faktycznie się udało, a nie czy ktoś deklaruje zadowolenie.
Menedżer ponad inżynierem
Najmocniejszy wynik: zawody menedżerskie radziły sobie lepiej niż inżynierowie oprogramowania. Brzmi nieintuicyjnie, dopóki nie spojrzymy na to, czego wymaga praca z agentem - precyzyjnego opisania problemu, rozbicia go na kroki i oceny, czy efekt jest dobry. To kompetencje bliższe zarządzaniu niż pisaniu pętli.
Agent nie nagradza tego, kto zna składnię. Nagradza tego, kto wie, co naprawdę trzeba zbudować.
Mniej gaszenia pożarów
Zmienił się też charakter pracy. Udział sesji opisanych jako „naprawianie zepsutego kodu" spadł z 33% do 19%. Punkt ciężkości przesuwa się z łatania w stronę budowania nowych rzeczy.
Dystans, który się nie powiększa
Można było się obawiać, że agenci dadzą inżynierom jeszcze większą przewagę. Stało się odwrotnie: luka między użytkownikami technicznymi a nietechnicznymi nie urosła. Tworzenie oprogramowania staje się dostępne dla osób, które wcześniej były od niego odcięte.
Dla firm to praktyczny sygnał: do prototypu czy wewnętrznego narzędzia nie zawsze potrzebujesz działu inżynierii. Czasem wystarczy ktoś, kto najlepiej rozumie proces.
Najczęstsze pytania
Nie. Badanie pokazuje, że do wielu zadań wystarczy dobra znajomość problemu, ale złożone, krytyczne systemy nadal wymagają inżynierów. Zmienia się raczej to, kto może zbudować pierwszą wersję.
Bo praca z agentem premiuje umiejętność precyzyjnego opisania problemu, podziału go na kroki i oceny rezultatu - to kompetencje bliższe zarządzaniu niż samemu kodowaniu.
Że mniej czasu idzie na gaszenie pożarów, a więcej na budowanie nowych funkcji. Agenci coraz częściej tworzą działający kod od razu.
Że wewnętrzne narzędzia i prototypy mogą powstawać szybciej i taniej, także rękami osób spoza działu IT, które najlepiej znają dany proces.
Sprawdź, czy AI poleca Twoją firmę.
Zacznij od bezpłatnego audytu SEO i GEO. Sprawdzimy, jak modele AI opisują Twoją markę, i wskażemy priorytety zwiększające szanse na cytowanie.