Eine Markov-Übergangsmatrix ist eine quadratische Matrix, die die Wahrscheinlichkeiten für den Übergang von einem Zustand in einen anderen in einem dynamischen System beschreibt. In jeder Zeile sind die Wahrscheinlichkeiten für den Übergang von dem durch diese Zeile dargestellten Zustand zu den anderen Zuständen angegeben. Somit addieren sich die Zeilen einer Markov-Übergangsmatrix zu jeweils einer. Manchmal wird eine solche Matrix mit so etwas wie Q (x '| x) bezeichnet, was folgendermaßen verstanden werden kann: Q ist eine Matrix, x ist der vorhandene Zustand, x' ist ein möglicher zukünftiger Zustand und für jedes x und x 'in das Modell, die Wahrscheinlichkeit, zu x 'zu gehen, wenn der existierende Zustand x ist, ist in Q.
Zeitschriftenartikel zur Markov Transition Matrix