Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl powtarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę własnego głosu konsultacyjnego agenta. To on interpretuje polecenia użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich wykonania. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje konkretnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy proces rozkłada się na wiele etapów i potrzebuje przełączania między różnymi źródłami informacji. To właśnie ta umiejętność odróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Oddzielną kwestią pozostaje sposób oceny własnych działań. Odpowiednio zbudowany agent jest w stanie rozpoznać, że otrzymany wynik odbiega od zamierzonego, i wrócić do wcześniejszego etapu, by podjąć próbę alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego nawyku weryfikowania własnej pracy przed jej złożeniem.