Explication de comment init le mdbook en local (sera supprimé probablement dans de futur commit)

Linux:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env

la deuxième ligne permet de réactualiser l'env bash/zsh ou on est pour faire en sorte de ne pas avoir a redémarre le terminal

OU

je suppose (j'ai pas essayé mais ca doit marcher)

Debian based:

sudo apt install rustc cargo

Fedora based:

sudo dnf install rust cargo

Arch based:

sudo pacman -S rust

Après installation de rust

on va installer mdbook et un plugin pour prerender du Latex

après en allant dans le dossier de la SAE puis en rentrant dans le dossier mdbook

on fait

cargo install mdbook

puis

cargo install mdbook-katex

et enfin pour faire une serveur local pour le dev

mdbook serve --open

pour build:

mdbook build

Windows:

installer sur le site de rust le .exe en x64 et installer rust

ensuite installer le .exe mdbook ici installer mdbook-v0.4.52-x86_64-pc-windows-msvc.zip

glisser le .exe dans l'archive directement dans le dossier mdbook de la SAE

ensuite on installe le plugin ici il faut développer le v0.9.3-binaries et télécharger le mdbook-katex-v0.9.3-x86_64-pc-windows-gnu.zip et extraire le .exe au meme endroit que celui de mdbook

normalement si tout c'est bien fait les commandes sont les même que linux sauf que faut faire

.path\to\mdbook.exe ma_commande

Processus de Markov

théorique

Un processus de Markov est un processus stochastique dans lequel la prédiction du futur ne dépend que de l’état présent. Autrement dit, connaître les états passés ne rend pas la prédiction du futur plus précise : seul l’état actuel compte.

plus simplement, si je suis dans une état 10 et que je veut avancer a l'état 11 je peut être sur que les état qui sont passé avant ne me donnerons aucune source d'information par rapport a l'état 11

on prendra S comme étant l'ensemble des state (états possible)

et certain cours ajoute aussi un ensemble T (qui dans la plupart des cas semble présent plus pour la rigeur des formules plus que pour une utilité réel) pour le time-step

ensuite on a P, il désigne une fonction défini comme

$$\mathrm{P}(s,s^{\prime })=\mathbb{P}[S_{t+1}=s^{\prime }|S_t=s]$$

pour simplifier on a une fonction qui prend comme argument s et s' et donne la probabilité de passer de l'état s à l'état s' on l'apelle Transition Probability Function

Chapter 1

voici un exemple de comment utiliser 2 trois trucs en Latex

$$Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s,a,s^{\prime })V^{\pi }(s^{\prime })$$