Uczenie maszynowe czy sztuczna inteligencja skłania do zastanowienia się nad tym czym jest inteligencja i uczenie się, jak działają te modele i jak działamy my sami. Do powszechnej świadomości AI wniknęło dzięki dużym modelom językowym, które uzyskały uniwersalne zdolności związane z tekstami podczas uczenia się przewidywania kolejnego słowa na podstawie początkowego fragmentu tekstu. Zastanówmy się jakie można postawić zadanie i jak trenować model AI, żeby uzyskał uniwersalne zdolności do działania w świecie materialnym, sterując robotem.

Dobrym kandydatem do problemu samej percepcji jest przewidywanie przyszłej klatki z kamery na podstawie wcześniejszego nagrania - byłaby to analogia dla następnego słowa w tekście. Trzeba nauczyć się jak działa świat materialny, żeby widząc co się działo wcześniej trafnie odgadywać co się stanie za chwilę. Trudniejszym problemem jest interakcja. Nie wystarczy przewidzieć co się zaraz stanie bez interwencji. Model musi nauczyć się jaki robot ma kształt, jak może się poruszać i jak to wpływa na otoczenie. Tak jak dziecko, w pewnym momencie nie tylko umie bezwiednie ruszać rączkami, ale wie że to są jego kończyny, że może nimi poruszać i potrafi przewidzieć skutki przyszłego ruchu. Ten obszar uczenia maszynowego już nie ogranicza się do trenowania modeli na zebranych wcześniej danych. Tu uczący się agent wpływa na swoje środowisko i w ten sposób ma też wpływ na późniejsze obserwacje - czyli później zebrane dane do uczenia. Tu pojawia się komplikacja - co zrobić, żeby miał dostarczone wystarczające bodźce? Jeżeli ma przewidywać co zobaczy w niedalekiej przyszłości, będzie mu najłatwiej realizować to zadanie chowając kamerę pod poduszkę i pozostając w bezruchu - wtedy świetnie przewidzi przyszłe bodźce, ale nic się nie nauczy.

Można zainspirować się ludzkim znudzeniem i ciekawością: spowodować, żeby wybierał (czasem) losowe działanie, otrzymywał nagrodę kiedy dotrą do niego nieznane wcześniej bodźce, wykonywał ruchy, co do skutków których model byłby najmniej pewny - w takim przypadku szanse na nauczenie się czegoś są największe. Dochodzimy więc do wniosku, że wykonywanie działań losowych, ciekawość i testowanie granic są przydatne w rozwiązywaniu problemu nabywania uniwersalnych umiejętności do działania w świecie rzeczywistym, czyli proponujemy mu dzieciństwo.