Processus de Markov

théorique

Un processus de Markov est un processus stochastique dans lequel la prédiction du futur ne dépend que de l’état présent. Autrement dit, connaître les états passés ne rend pas la prédiction du futur plus précise : seul l’état actuel compte.

plus simplement, si je suis dans une état 10 et que je veut avancer a l'état 11 je peut être sur que les état qui sont passé avant ne me donnerons aucune source d'information par rapport a l'état 11

on prendra S comme étant l'ensemble des state (états possible)

et certain cours ajoute aussi un ensemble T (qui dans la plupart des cas semble présent plus pour la rigeur des formules plus que pour une utilité réel) pour le time-step

ensuite on a P, il désigne une fonction défini comme

$$\mathrm{P}(s,s^{\prime })=\mathbb{P}[S_{t+1}=s^{\prime }|S_t=s]$$

pour simplifier on a une fonction qui prend comme argument s et s' et donne la probabilité de passer de l'état s à l'état s' on l'apelle Transition Probability Function