5 Olasılık Dağılımı ve Chapman–Kolmogorov Eşitlikleri
Geçiş matrisi bize bir adımlık geçiş olasılıklarını verir. Peki \(n\) adım sonra sürecin hangi durumda olacağını nasıl buluruz? Bu bölümde iki soruyu birlikte yanıtlayacağız:
- Sürecin \(n\). adımdaki durum dağılımı nedir?
- \(i\) durumundan \(j\) durumuna \(n\) adımda geçme olasılığı nedir?
5.1 Markov Zincirinin Olasılık Dağılımı
Tanım 5.1 (Durum Olasılık Vektörü) \(\{X_n \mid n \geq 0\}\) homojen bir Markov zinciri ve
\[p_i(n) = P(X_n = i)\]
olsun. Burada her \(n\) için
\[\sum_{k=0}^{\infty} p_k(n) = 1\]
sağlanır. Bu olasılıklardan oluşan satır vektörü
\[p(n) = \big[\, p_0(n),\; p_1(n),\; \dots \,\big]\]
biçiminde yazılır.
- \(p(0) = [\,p_0(0),\, p_1(0),\, \dots\,]\) vektörüne başlangıç durum olasılıkları vektörü (başlangıç olasılık dağılımı) denir.
- \(p(n)\) vektörüne \(n\) adım sonraki durum olasılık vektörü ya da Markov zincirinin olasılık dağılımı denir.
Teorem 5.1 (Dağılımın İlerletilmesi) Bir adım ilerlemek, dağılımı geçiş matrisiyle sağdan çarpmak demektir:
\[p(n) = p(n-1)\, P\]
Bu bağıntı tekrarlanırsa dağılım doğrudan başlangıçtan da hesaplanabilir:
\[p(n) = p(0)\, P^n\]
\(p(n)\) bir satır vektörüdür ve \(P\)’nin satırları “nereden”, sütunları “nereye” bilgisini taşır. \(p(n-1)P\) çarpımının \(j\). bileşeni
\[\sum_i p_i(n-1)\, p_{ij}\]
olur; bu da toplam olasılık kuralının ta kendisidir: “\(j\)’ye varmanın olasılığı = her \(i\)’den gelme olasılıklarının toplamı”.
Teorem 4.1 gereği bu çarpım bizi olasılık vektörleri dünyasının dışına çıkarmaz.
Örnek 5.1 (Basit Hava Modeli) Bir günün yağmurlu (\(0\)) veya güneşli (\(1\)) olmasını içeren basit hava modelini ele alalım. Geçiş matrisi
\[P = \begin{pmatrix} 0{,}5 & 0{,}5 \\ 0{,}1 & 0{,}9 \end{pmatrix}\]
olsun. Başlangıç olarak havanın yağmurlu olduğunu kabul edelim. Sonraki iki günün hava dağılımını bulunuz.
Çözüm
Bugün kesin olarak yağmurlu olduğundan başlangıç dağılımı
\[p(0) = (1,\; 0)\]
olur. (\(1\) yağmurlu durumuna, \(0\) güneşli durumuna karşılık gelir; bugünün yağmurlu olduğunu bildiğimiz için ikinci bileşen sıfırdır.)
Bir gün sonra:
\[p(1) = p(0)\,P = (1,\; 0)\begin{pmatrix} 0{,}5 & 0{,}5 \\ 0{,}1 & 0{,}9 \end{pmatrix} = (0{,}5;\; 0{,}5)\]
İki gün sonra:
\[p(2) = p(1)\,P = (0{,}5;\; 0{,}5)\begin{pmatrix} 0{,}5 & 0{,}5 \\ 0{,}1 & 0{,}9 \end{pmatrix} = (0{,}3;\; 0{,}7)\]
Yani bugün yağmurluysa, iki gün sonra havanın güneşli olma olasılığı \(0{,}7\)’dir.
\(\blacksquare\)
Aynı işlemi sürdürürseniz \(p(3) = (0{,}22;\ 0{,}78)\), \(p(4) = (0{,}188;\ 0{,}812)\), … çıkar ve dizi \(\left(\tfrac16,\ \tfrac56\right)\) vektörüne yaklaşır. Başlangıç neresi olursa olsun ulaşılan bu vektöre daimi durum olasılıkları denir; ilerideki bölümlerin konusu odur.
5.2 Chapman–Kolmogorov Teoremi
Şimdi \(n\) adımlık geçiş olasılıklarına geçelim.
Tanım 5.2 (\(n\) Adımlık Geçiş Matrisi) \[p_{ij}^{(n)} = P(X_n = j \mid X_0 = i)\]
olasılıklarından oluşan \(P^{(n)} = \big[\,p_{ij}^{(n)}\,\big]\) matrisine \(n\) adımlık geçiş olasılık matrisi denir.
Teorem 5.2 (Chapman–Kolmogorov Teoremi) Homojen bir Markov zincirinde her \(n, m \geq 0\) için
\[P^{(n+m)} = P^{(n)} \, P^{(m)}\]
olur. Ayrıca \(n\) adımlık geçiş matrisi, tek adımlık matrisin \(n\). kuvvetine eşittir:
\[P^{(n)} = P^{\,n}\]
İspat
Birinci kısım. \(P^{(n+m)}\) matrisinin \((i,j)\). bileşenini yazalım. Süreç \(i\)’den çıkıp \(n+m\) adım sonra \(j\)’ye varıyor; ama arada nereden geçtiğini bilmiyoruz. O hâlde \(n\). adımdaki durumu \(k\) diyerek bütün olasılıklar üzerinden toplayalım:
\[p_{ij}^{(n+m)} = P(X_{n+m} = j \mid X_0 = i) = \sum_{k=0}^{\infty} P(X_{n+m} = j,\; X_n = k \mid X_0 = i)\]
Koşullu olasılığın çarpım kuralıyla:
\[= \sum_{k=0}^{\infty} P(X_{n+m} = j \mid X_n = k,\; X_0 = i) \cdot P(X_n = k \mid X_0 = i)\]
Markov özelliği gereği ilk çarpanda \(X_0 = i\) koşulu düşer; çünkü \(X_n = k\) bilindiğinde gelecek, geçmişten bağımsızdır:
\[= \sum_{k=0}^{\infty} \underbrace{P(X_{n+m} = j \mid X_n = k)}_{= \; p_{kj}^{(m)}} \cdot \underbrace{P(X_n = k \mid X_0 = i)}_{= \; p_{ik}^{(n)}} = \sum_{k=0}^{\infty} p_{ik}^{(n)}\, p_{kj}^{(m)}\]
Sağdaki toplam tam olarak \(P^{(n)}P^{(m)}\) çarpımının \((i,j)\). bileşenidir. O hâlde
\[P^{(n+m)} = P^{(n)}\, P^{(m)}\]
İkinci kısım. Tümevarımla ilerleyelim.
Başlangıç adımı: \(P^{(1)} = P = P^{\,1}\) tanım gereği doğrudur.
Tümevarım hipotezi: \(P^{(n)} = P^{\,n}\) olsun.
Tümevarım adımı: Birinci kısmı \(m = 1\) ile kullanırsak
\[P^{(n+1)} = P^{(n)} \, P^{(1)} = P^{\,n} \cdot P = P^{\,n+1}\]
bulunur. O hâlde her \(n \geq 1\) için \(P^{(n)} = P^{\,n}\)’dir.
\(\blacksquare\)
\(P^{(n)} = P^{\,n}\) eşitliği, “kaç adım sonra nerede olurum?” sorusunu bir matris kuvveti hesabına indirger. Ayrıca \(P^{(n)}\) de bir Markov matrisidir (Teorem 4.2), dolayısıyla her satırının toplamı \(1\) olmalıdır — hesabınızın en hızlı sağlaması budur.
5.3 Çözümlü Uygulamalar
Örnek 5.2 (Üç Durumlu Zincir) \(S = \{1, 2, 3\}\) durum uzayına sahip bir Markov zincirinin geçiş olasılık matrisi
\[P = \begin{pmatrix} 0{,}2 & 0{,}3 & 0{,}5 \\ 0{,}1 & 0{,}6 & 0{,}3 \\ 0{,}4 & 0{,}3 & 0{,}3 \end{pmatrix}\]
ve başlangıç olasılık dağılımı \(p(0) = (0{,}5;\; 0{,}3;\; 0{,}2)\) olarak verilsin.
a) \(P(X_2 = 2)\) olasılığını bulunuz.
b) \(P(X_3 = 3,\; X_2 = 2,\; X_1 = 1,\; X_0 = 3)\) olasılığını bulunuz.
Çözüm
a) Toplam olasılık kuralıyla, üç başlangıç durumu üzerinden toplayalım:
\[P(X_2 = 2) = \sum_{i=1}^{3} P(X_2 = 2 \mid X_0 = i)\, P(X_0 = i) = \sum_{i=1}^{3} p_{i2}^{(2)}\, p_i(0)\]
O hâlde \(P^{(2)} = P^2\) matrisinin ikinci sütununa ihtiyacımız var. Kareyi alalım:
\[P^2 = \begin{pmatrix} 0{,}27 & 0{,}39 & 0{,}34 \\ 0{,}20 & 0{,}48 & 0{,}32 \\ 0{,}23 & 0{,}39 & 0{,}38 \end{pmatrix}\]
(Sağlama: satır toplamları \(0{,}27+0{,}39+0{,}34 = 1\), \(0{,}20+0{,}48+0{,}32 = 1\), \(0{,}23+0{,}39+0{,}38 = 1\).)
Şimdi yerine koyalım:
\[ \begin{aligned} P(X_2 = 2) &= p_{12}^{(2)}\, p_1(0) + p_{22}^{(2)}\, p_2(0) + p_{32}^{(2)}\, p_3(0) \\ &= (0{,}39)(0{,}5) + (0{,}48)(0{,}3) + (0{,}39)(0{,}2) \\ &= 0{,}195 + 0{,}144 + 0{,}078 \\ &= 0{,}417 \end{aligned} \]
b) Ortak olasılığı, en eski olaydan başlayarak adım adım açalım. Her adımda Markov özelliği sayesinde yalnızca bir önceki duruma bakmak yeterlidir.
Birinci adım:
\[P(X_1 = 1,\; X_0 = 3) = P(X_1 = 1 \mid X_0 = 3)\, P(X_0 = 3) = p_{31} \cdot p_3(0) = (0{,}4)(0{,}2) = 0{,}08\]
İkinci adım:
\[ \begin{aligned} P(X_2 = 2,\, X_1 = 1,\, X_0 = 3) &= P(X_2 = 2 \mid X_1 = 1,\, X_0 = 3) \cdot P(X_1 = 1,\, X_0 = 3) \\ &= \underbrace{p_{12}}_{0{,}3} \cdot 0{,}08 = 0{,}024 \end{aligned} \]
Üçüncü adım:
\[ \begin{aligned} P(X_3 = 3,\, X_2 = 2,\, X_1 = 1,\, X_0 = 3) &= \underbrace{p_{23}}_{0{,}3} \cdot 0{,}024 = 0{,}0072 \end{aligned} \]
\(\blacksquare\)
Bir yörüngenin olasılığı, başlangıç olasılığı ile yol üzerindeki tek adım geçişlerinin çarpımıdır:
\[P(X_0 = i_0, X_1 = i_1, \dots, X_n = i_n) = p_{i_0}(0) \cdot p_{i_0 i_1} \cdot p_{i_1 i_2} \cdots p_{i_{n-1} i_n}\]
Bu örnekte: \(0{,}2 \times 0{,}4 \times 0{,}3 \times 0{,}3 = 0{,}0072\). Kaç durum olursa olsun, beni kayıtta en yakın olan ilgilendirir.
Örnek 5.3 (Marka Tercihi) Bir araştırma şirketi, bir firmanın A ve B markalı iki tür içecek satışlarını incelemektedir.
- A marka içeceği satan bir firmanın \(1\) hafta sonra tekrar A marka içecek satma olasılığı \(0{,}9\)’dur.
- B marka içeceği satan bir firmanın \(1\) hafta sonra tekrar B marka içecek satma olasılığı \(0{,}8\)’dir.
a) İlk alışverişte A marka içeceği satan firmanın \(3\) hafta sonra B marka içeceği satma olasılığı nedir?
b) İlk alışverişte müşterilerin \(\%60\)’ı A marka içecek tercih etmiştir. Buna göre \(3\) hafta sonra B marka içeceği tercih etme olasılığı nedir?
Çözüm
Durumları \(1 = \text{A}\), \(2 = \text{B}\) olarak numaralandıralım. Satır toplamları \(1\) olacağından geçiş matrisi:
\[P = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}2 & 0{,}8 \end{pmatrix}\]
a) Üç haftalık geçiş matrisini hesaplayalım:
\[P^2 = \begin{pmatrix} 0{,}83 & 0{,}17 \\ 0{,}34 & 0{,}66 \end{pmatrix}, \qquad P^{(3)} = P^3 = \begin{pmatrix} 0{,}781 & 0{,}219 \\ 0{,}438 & 0{,}562 \end{pmatrix}\]
Aranan olasılık, A’dan B’ye üç adımlık geçiştir:
\[p_{AB}^{(3)} = 0{,}219\]
b) Bu kez başlangıç dağılımı verilmiştir:
\[p(0) = (0{,}6;\; 0{,}4)\]
Üç hafta sonraki dağılım:
\[p(3) = p(0)\, P^3 = (0{,}6;\; 0{,}4) \begin{pmatrix} 0{,}781 & 0{,}219 \\ 0{,}438 & 0{,}562 \end{pmatrix} = (0{,}644;\; 0{,}356)\]
O hâlde \(3\) hafta sonra B marka içecek tercih etme olasılığı \(0{,}356\)’dır.
\(\blacksquare\)
İki şık birbirine benzese de farklı büyüklükler ister:
- (a) tek bir firmanın kesin olarak A sattığı bilindiğinde sorar; cevap doğrudan \(P^{(3)}\) matrisinin bir elemanıdır.
- (b) başlangıçta bir dağılım verir; cevap \(p(0)P^{3}\) vektörünün bir bileşenidir.
Başlangıç kesin bir durumsa (a), belirsizse (b) yolunu izleyin.
5.4 Alıştırma
Alıştırma 5.1 (Üç Durumlu Zincir) \(S = \{0, 1, 2\}\) durum uzayına sahip Markov zincirinin geçiş olasılık matrisi
\[P = \begin{pmatrix} \tfrac34 & \tfrac14 & 0 \\[2pt] \tfrac14 & \tfrac12 & \tfrac14 \\[2pt] 0 & \tfrac34 & \tfrac14 \end{pmatrix}\]
olsun. Başlangıç olasılık vektörü olarak da her bir durumun eşit olasılıkta olduğu kabul edilsin.
a) \(P(X_2 = 0)\) olasılığını bulunuz.
b) \(P(X_3 = 1,\; X_2 = 2,\; X_1 = 1,\; X_0 = 2)\) olasılığını bulunuz.
İpucu: (a) için \(P^2\)’nin birinci sütununu, (b) için yörünge kısayolunu kullanın. Eşit olasılık, \(p(0) = \left(\tfrac13, \tfrac13, \tfrac13\right)\) demektir.