середовище, наступний стан якого цілком не визначається поточним станом і дією, виконаною агентом

середовище, у якому через датчики, що створюють шум і є неточними агент не може мати доступ до повної інформації про стан середовища в кожний момент часу

середовище, у якому датчики агента надають йому доступ до повної інформації про стан середовища в кожний момент часу, необхідної для вибору агентом дії

середовище, наступний стан якого цілком визначається поточним станом і дією, виконаною агентом

середовище, що може змінитися в ході того, як агент обирає чергову дію