Proces Markowa

Z Wikipedii

Brak wersji przejrzanej

Przykład procesu Markowa

Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.

Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.

Łańcuch Markowa jest ciągiem X₁, X₂, X₃, ... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje X_n to stany w czasie n. Jeśli rozkład warunkowy X_n+1 jest funkcją wyłącznie zmiennej X_n:

$P(X_{n+1}\le y|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}\le y|X_n)$

to mówimy, że proces stochastyczny posiada własność Markowa.

Przedstawiona definicja zakłada czas dyskretny. Istnieją procesy Markowa z czasem ciągłym, jednak nie są one przedstawione w tym artykule.

Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane przez Kołmogorowa w 1936. Łańcuchy Markowa mają związek z ruchami Browna oraz hipotezą ergodyczną, dwoma ważnymi w fizyce tematami, ale powstały jako uogólnienie prawa wielkich liczb na zdarzenia zależne.

Spis treści

1 Własności łańcuchów Markowa
- 1.1 Macierz przejścia
- 1.2 Rozkład stacjonarny
2 Zobacz też

[edytuj] Własności łańcuchów Markowa

[edytuj] Macierz przejścia

Jeśli przestrzeń stanów jest zbiorem skończonym, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą przejścia oznaczoną literą P, gdzie elementy (i, j) są równe:

$P_{ij} = P(X_{n+1}=j\mid X_n=i) \,$

czyli element $p 13$ oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego.

Na przestrzeni dyskretnej całkowanie k-tego stopnia macierzy przejścia jest zwykłym sumowaniem i może być obliczane jako k-ta potęga macierzy przejścia. Czyli jeśli P jest macierzą przejścia w jednym kroku, wówczas P^k jest macierzą przejścia w k krokach.

[edytuj] Rozkład stacjonarny

Rozkład prawdopodobieństw na przestrzeni stanów S nazywamy stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek

$P_{j} = \sum_{i \in S} \pi_i p_{ij},$

czyli

$\pi^{T}\mathbf{P} = \pi^{T},$

gdzie $π T$ jest transponowanym wektorem wierszowym $π$ , a

$\sum_i \pi_i = 1 \quad \forall \pi_i \ge 0$ .

Jeśli rozkład początkowy $\mathbf{x_0}$ jest stacjonarny, to każdy kolejny rozkład $\mathbf{x_n}$ również jest stacjonarny.

Może nie istnieć żaden, istnieć jeden lub więcej niż jeden rozkład stacjonarny dla danego procesu.

[edytuj] Zobacz też

Globtroter.Org: Podróże. Enoturystyka.

Odwiedzamy słynne winnice i piwnice, znanych wytwórców nalewek, likierów, piw i innych trunków, szwajcarskie serowarnie, producentów zdrowej żywności. Ale także morze i piekne plaże, góry i ośrodki narciarskie, uzdrowiska i ośrodki spa, zamki i ogrody oraz wiele innych ciekawych miejsc.

Tapety na telefon - mobilnetapety.pl

Piękne tapety zwierząt, samochodów, kosmosu, krajobrazy, muzyka, anime, film, gry, świąteczne, abstrakcje i wiele innych. Tapety o rozmiarach: 128x160, 176x220 i 240x320. Na stronie możesz doładować swoją komórkę a także pobrać darmowe dzwonki mp3 i polifonię.

Sauny Wandex

CENTRUM SAUNY zajmuje się od 1990 roku projektowaniem i realizacją powierzchni odnowy biologicznej i kąpielowych, produkcją i dostawą urządzeń na te powierzchnie. Od 5 lat pracujemy w systemie jakości ISO 9001: 2000. Na swoje produkty posiadamy atesty higieniczne. Nasze wyroby są wytwarzane z dokładnością i dbałością spełnienia najwyższych wymagań klienta.

Evenness Studio Masażu Warszawa

Studio oferuje szeroką gamę zabiegów, które pozwalają, cieszyć się doskonałym samopoczuciem, piękną sylwetką i swobodą od bólu. W ofercie masaże ręczne, masaż na łóżku masującym z podczerwienią, odchudzanie, ujędrnianie, elektrostymulacja, zabiegi antycellulitowe, drenaż limfatyczny, peelingi.

Casualshop.pl - bokserki, slipy i szorty

CasualShop.pl jest pomysłem adresowanym do ludzi, którzy cenią sobie nietuzinkowość, nowatorskie pomysły i ... odrobinę lekkości bytu. Cały czas poszukujemy nowych rzeczy i pomysłów, bo również uważamy się za ludzi wrażliwych na rzeczy ciekawe, piękne i o dobrej jakości.
Naszymi atutem jest szeroki wybór markowej bielizny męskiej. Andrew Christian, Udy, DT Clothes, Obviously i wielu innych. Bokserki i slipy najlepszych producentów. Również luksusowa bielizna firmy MEY. Bezpłatna dostawa dla zakupów powyżej 150 PLN.

�cianki dzia�owe aukcje internetowe Disco polo odchudzanie tanie latanie podwoiła Gry gry Anteny GSM maszyny rolnicze

gry.kompedium.net