Une urne contient 2 boules vertes, une boule noire et une boule rouge.

A chaque étape le joueur tire une boule aléatoirement.

• Si le joueur tire une boule verte, il la garde.
• Si le joueur tire la boule noire, il la remet dans l'urne et il retire une boule verte de l'urne qui est mise de côté
• Si le joueur tire la boule rouge, il la remet dans l'urne ainsi qu'une boule verte qui aurait été mise de côté précédemment.

Si 

• le joueur a deux boules vertes, il a gagné et le jeu s'arrête. Il n'y a donc qu'un seul état "Gagné" !
• le joueur n'a pas encore deux boules vertes et qu'il n'y a plus de boule verte dans l'urne, il a perdu et le jeu s'arrête. Il n'y a donc qu'un seul état "Perdu" !

1) Donner la matrice de transition P du processus de Markov modélisant ce jeu. Expliquez bien les différents états que vous considérez.

2) Combien y a-t-il de classes de communication ? Justifiez !

3) Peut-on, grâce à un théorème, conclure à l'existence d'une distribution stable unique ? Justifiez !

4) Afin de déterminer les probabilité de gagner et de perdre, le joueur aimerait connaître le temps moyen passé par le processus dans chaque état. Donnez la matrice du système à résoudre pour trouver ces temps moyens.