имат таблица с фиксирани правила и не изчисляват целесъобразност

разграничават целесъобразни от нецелесъобразни състояния

различават степени на удовлетвореност от състоянията

вероятностите за преход от едно състояние в друго

вероятностите на всички действия на агента

очакваните награди при поредица от действия

точни правила за преход от едно състояние в друго

Свързва възможни деиствия с възможни състояния по такъв начин , че да се максимизира очакваната награда

Оценява ефективността (средната награда) на комбинации от действия и състояния

Изчислява средната очаквана награда, която може да се спечели от дадено състояние 

Колко вероятен е даден преход между състояния

Каква е средно-аритметичната награда, която може да се очаква в поредица от действия, която започва от дадено състояние

нямат недостатъци

изискват много изчислителни ресурси

запаметяване на междинни отговори за бъдеща употреба

"алчни" алгоритми

използване на рефлексивни агенти

Правилната политика за избор на действия в дадено състояние

Вероятността на даден преход между състояния в стохастична среда

Средната очаквана награда, постижима от дадено състояние

Ефективност (очакваната средна награда) на комбинация от състояние и действие, предприето в него. 

винаги се изпозлва "алчен" алгоритъм, който оценява само 1 награда напред

не може да се реши

въвежда се фактор на отхвърляне (discount factor), който определя хоризонт на бъдещите действия, които се оценяват