Kas yra „Markov“ sprendimo procesas (mdp)? - apibrėžimas iš techopedijos

Apibrėžimas - ką reiškia Markovo sprendimų procesas (MDP)?

Markovo sprendimų procesas (MDP) yra kažkas, kurį specialistai vadina „diskretaus laiko stochastinės kontrolės procesu“. Jis remiasi matematika, kurią 19-ojo amžiaus pabaigoje ir XX amžiaus pradžioje rėmė Rusijos akademikas Andrejus Markovas.

„Techopedia“ paaiškina Markovo sprendimų procesą (MDP)

Vienas iš būdų paaiškinti Markovo sprendimo procesą ir susijusias Markovo grandines yra tai, kad tai yra šiuolaikinio žaidimo teorijos elementai, paremti paprastesniais matematiniais tyrimais, kuriuos prieš kelis šimtus metų atliko Rusijos mokslininkas. Markovo sprendimo proceso aprašymas yra tas, kad jis tiria scenarijų, kai sistema yra tam tikruose valstybių rinkiniuose, ir pereina į kitą būseną, remdamasis sprendimų priėmėjo sprendimais.

Markovo grandinė kaip modelis rodo įvykių seką, kai tam tikro įvykio tikimybė priklauso nuo anksčiau pasiektos būsenos. Apibūdindami Markovo sprendimo procesą, profesionalai gali kalbėti apie „suskaičiuojamą valstybės erdvę“ - kai kurie Markovo sprendimo modelio idėją susieja su „atsitiktinio ėjimo“ modeliu ar kitu stochastiniu modeliu, pagrįstu tikimybėmis (atsitiktinio ėjimo modelis, dažnai cituojamas Wall Gatvė, modeliuojamas nuosavybės judėjimas aukštyn arba žemyn rinkos tikimybės kontekste).

Apskritai, „Markov“ sprendimų procesai dažnai taikomi sudėtingiausioms technologijoms, prie kurių šiandien dirba specialistai, pavyzdžiui, robotikos, automatikos ir tyrimų modeliams.