Définition
Chaîne de Markov
Un modèle mathématique décrivant un système qui passe d'un état à un autre, où la probabilité de passer à un nouvel état dépend uniquement de l'état actuel et non des états précédents.
État
Une des configurations possibles d'un système modélisé par une chaîne de Markov.
Processus Markovien
Un processus stochastique possédant la propriété de Markov.
Propriété de Markov
Propriété d'un processus stochastique où la distribution des états futurs du processus dépend uniquement de l'état présent et non du chemin suivi pour atteindre cet état.
Propriétés des Chaînes de Markov
Les chaînes de Markov se caractérisent principalement par leur mémoire limitée, ce qui signifie que seules les informations actuelles influencent les décisions futures. Cela est formulé par la propriété dite de Markov, qui constitue une simplification essentielle dans l'analyse des processus stochastiques modernes.
Classification des États
États Récurrents
Un état est dit récurrent si, partant de cet état, il y a une probabilité de 1 de revenir à cet état à un certain moment dans le futur. Les états récurrents ont une pertinence particulière car ils indiquent une tendance pour le processus à revisiter certains états.
États Transitoires
Ce sont des états dont la probabilité de retour à cet état est inférieure à 1. Un processus qui démarre dans un état transitoire finira par le quitter définitivement pour un état récurrent.
Types de Chaînes de Markov
Chaînes de Markov Discrètes
Ces chaînes évoluent par un ensemble discret, généralement fini, d'états. Leur étude repose souvent sur des matrices de transition, qui décrivent les probabilités de passer d'un état à un autre à chaque unité de temps.
Chaînes de Markov Continues
Contrairement aux chaînes discrètes, ici les transitions peuvent se produire à n'importe quel temps continu. Les modèles continus sont souvent utilisés pour modéliser des systèmes qui évoluent dans le temps de façon continue.
Applications des Chaînes de Markov
Modélisation des Processus Naturels
Les chaînes de Markov sont utilisées pour modéliser des phénomènes naturels tels que la prévision météorologique, l'évolution d'espèces biologiques et d'autres processus qui évoluent de manière probabiliste dans le temps.
Applications en Informatique
Dans l'informatique, elles sont utilisées dans l'apprentissage automatique pour les modèles de séquence, comme les modèles de Markov cachés (HMM), qui sont employés pour des tâches de reconnaissance de la parole, de traitement du langage naturel, etc.
A retenir :
Les chaînes de Markov sont un outil puissant pour modéliser des systèmes où le futur est conditionné uniquement par le présent, indépendamment du passé. La simplicité du modèle permet son application dans divers domaines, allant des sciences naturelles à l'informatique,
