Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl odtwarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on interpretuje polecenia użytkownika, rozbija złożone zadanie na drobniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje konkretnych danych spoza swojej pamięci treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć robocza, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy proces rozciąga się na kilka etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od prostego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Osobną kwestią pozostaje sposób ewaluacji własnych działań. Odpowiednio skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do wcześniejszego etapu, by spróbować alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej złożeniem.