Цепи Маркова

Система может находиться в четырех различных состояниях: 1,2,3,4. Предполагается, что вероятность перехода системы pij из i-ого состояния в j-ое состояние на каждом конкретном шаге не зависит от результатов ранее произведенных испытаний и не зависит от номера испытаний. Найти вероятность перехода системы из 1-ого состояния в 3-ие состояние на третьем шаге и матрицу перехода ?3 . Известно, что p11=0,1; p12=0,4; p14=0,2; p21=0,2; p22=0,3; p24=0,1; p31=0,4; p32=0,5; p34=0,1; p41=0,0; p42=0,5; p44=0,1.