📈 Basit Regresyon

Gerçek hayatta birçok olay birbiriyle bağlantılıdır. Bir değişkenin değerinin, başka bir değişkenin veya değişkenlerin durumuna göre nasıl değiştiğini incelemek istatistiğin temel konularından biridir. İki değişken arasındaki ilişkileri genel olarak ikiye ayırırız:

1. Fonksiyonel İlişki: İki değişken arasındaki mutlak ve kesin matematiksel ilişkidir. Örneğin, bir karenin kenar uzunluğu ($x$) ile alanı ($Y$) arasındaki ilişki $Y=x^2$ şeklindedir ve istisnasız her zaman geçerlidir.
2. İstatistiksel İlişki: Kesin bir formülle ifade edilemeyen, aralarında bir eğilim (trend) bulunan ilişkidir. Örneğin, öğrencilerin çalışma süreleri ile sınav notları arasında bir ilişki vardır ama bu herkes için %100 aynı sonucu vermez. İşte regresyon analizi bu istatistiksel ilişkileri modellemek için kullanılır.

Serpilme Diyagramları ve Korelasyon

İki değişken arasındaki istatistiksel ilişkinin görsel olarak incelenmesi için verilerin koordinat sistemine yerleştirilmesiyle elde edilen grafiğe serpilme diyagramı (scatter plot) denir. Noktaların dağılımına bakılarak ilişkinin varlığı, yönü ve kuvveti hakkında fikir sahibi olunur.

Bu görsel ilişkinin yönünü ve kuvvetini matematiksel olarak ölçen analize ise Korelasyon denir.

Tanım: Pearson Korelasyon Katsayısı ($r$)

İki değişken arasındaki doğrusal ilişkinin şiddetini ve yönünü gösteren katsayıdır. $-1$ ile $+1$ arasında değerler alır ($-1\le r\le 1$).

$$r=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2\sum _{i=1}^n(y_i-\overline{y}{)}^2}}$$

• $r=1$: Mükemmel pozitif doğrusal ilişki (Biri artarken diğeri de aynı oranda artar).
• $r=-1$: Mükemmel negatif doğrusal ilişki (Biri artarken diğeri aynı oranda azalır).
• $r=0$: İki değişken arasında hiçbir doğrusal ilişki yoktur.

Korelasyon bize "Burada bir ilişki var mı ve ne kadar güçlü?" sorusunun cevabını verirken; regresyon, "Bu ilişkiyi matematiksel olarak hangi doğru denklemiyle modelleyebilirim?" sorusuna yanıt verir.

Basit Lineer Regresyon Modeli

Tanım: Regresyon Modeli

Bir bağımlı değişken ($Y$) ile tek bir bağımsız değişken ($X$) arasındaki doğrusal ilişkiyi modelleyen istatistiksel yaklaşımdır. Matematiksel ifadesi şu şekildedir:

$$Y_i={\beta }_0+{\beta }_1{X}_i+{ϵ}_i$$

Burada;

• $Y_i$: Bağımlı değişken (Gözlem değeri)
• $X_i$: Bağımsız değişken (Açıklayıcı değişken)
• ${ϵ}_i$: Hata terimi (Gerçek değer ile tahmin edilen değer arasındaki fark)

En Küçük Kareler Yöntemi (EKK)

Gözlemlediğimiz veri noktalarından geçen sonsuz sayıda doğru çizebiliriz. Amacımız, noktaların içinden geçen ve eğilimi en iyi yansıtan "ideal" doğruyu bulmaktır.

Bunun için tahminlerimiz (${\hat{Y}}_i$) ile gerçek değerler ($Y_i$) arasındaki farkı (yani hatayı) minimize etmemiz gerekir:

$$e_i=Y_i-{\hat{Y}}_i=Y_i-({\beta }_0+{\beta }_1{x}_i)$$

Hataların direkt toplamını almak yanıltıcıdır çünkü pozitif ve negatif sapmalar birbirini sıfırlayabilir. Bu sorunu aşmak için hataların karelerinin toplamını minimize eden optimum ${\beta }_0$ ve ${\beta }_1$ değerlerini ararız.

Teorem: Gauss Normal Denklemleri ve EKK Katsayıları

Aradığımız en iyi doğru denklemi olan $\hat{Y}={\beta }_0+{\beta }_{1}X$ modelini kurabilmek için, hata kareleri toplamı fonksiyonunu ($E$) minimum yapan katsayıları aşağıdaki formüllerle hesaplarız:

$${\beta }_1=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sum _{i=1}^n(x_i-\overline{x}{)}^2}=\frac{n\sum _{i=1}^n{x}_i{y}_i-(\sum _{i=1}^n{x}_i)(\sum _{i=1}^n{y}_i)}{n\sum _{i=1}^n{x}_i^2-(\sum _{i=1}^n{x}_i{)}^2}$$$${\beta }_0=\overline{y}-{\beta }_1\overline{x}$$

Burada;

• $n$: Toplam gözlem (veri) sayısını,
• $\overline{x}$: Bağımsız değişkenin ($X$) veri setindeki aritmetik ortalamasını,
• $\overline{y}$: Bağımlı değişkenin ($Y$) veri setindeki aritmetik ortalamasını ifade eder.

İspat: Bu Formüller Nereden Geliyor?

Hata kareleri toplamı fonksiyonu, ${\beta }_0$ ve ${\beta }_1$'e bağlı iki değişkenli bir fonksiyondur:

$$E({\beta }_0,{\beta }_1)=\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

Çok değişkenli analizden (Calculus) biliyoruz ki; bir fonksiyonun minimum noktasını bulmak için, o fonksiyonun her bir değişkene göre kısmi türevini alıp sıfıra eşitlemeliyiz.

1. ${\beta }_0$'a (Sabit Terime) göre kısmi türev:

$$\frac{\partial E}{\partial {\beta }_0}=-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=0$$

Her iki tarafı $-2$'ye bölüp toplam sembolünü terimlere dağıttığımızda birinci normal denklemi elde ederiz:

$$\sum y_i-n{\beta }_0-{\beta }_1\sum x_i=0⟹\sum y_i=n{\beta }_0+{\beta }_1\sum x_i\text{(1. Normal Denklem)}$$

2. ${\beta }_1$'e (Eğime) göre kısmi türev: Zincir kuralı gereği, içinin türevinden fazladan bir $-x_i$ çarpanı gelir:

$$\frac{\partial E}{\partial {\beta }_1}=-2\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)x_i=0$$

Yine $-2$'leri sadeleştirip $x_i$'yi içeri dağıtırsak ikinci normal denklemi elde ederiz:

$$\sum x_i{y}_i-{\beta }_0\sum x_i-{\beta }_1\sum x_i^2=0⟹\sum x_i{y}_i={\beta }_0\sum x_i+{\beta }_1\sum x_i^2\text{(2. Normal Denklem)}$$

Elde ettiğimiz bu iki bilinmeyenli (${\beta }_0$ ve ${\beta }_1$) denklem sistemine Gauss Normal Denklemleri denir. Bu sistem yok etme veya yerine koyma metoduyla çözüldüğünde yukarıdaki ${\beta }_1$ ve ${\beta }_0$ formülleri ortaya çıkar.

$⊠$

⚠️ Kritik Uyarı: Farklı Modeller İçin Hazır Formüller Kullanılamaz!

Yukarıda ispatlayarak çıkardığımız ${\beta }_0$ ve ${\beta }_1$ hazır formülleri sadece ve sadece $Y={\beta }_0+{\beta }_{1}X$ (yani $y=ax+b$) şeklindeki basit doğrusal (lineer) denklemler için geçerlidir.

Eğer veriye $y=a{x}^2+b$ (kuadratik) veya $y=c\cdot e^{ax}$ (üstel) gibi farklı formatta bir eğri uydurmamız istenirse, bu hazır formüller kesinlikle kullanılamaz. Böyle bir durumda, hata kareleri toplamı ($E$) fonksiyonunu istenen modele göre yeniden yazmalı, ilgili parametrelere göre kısmi türev alıp sıfıra eşitleyerek kendi Gauss denklemlerimizi sıfırdan çıkarmalıyız.

---

⚙️ Adım Adım Çözüm Algoritması: Regresyon Doğrusunu Bulmak

Sınavlarda veya el hesaplamalarında en güvenilir yol bir tablo oluşturmaktır.

1. Tabloyu Hazırlayın: $X_i$ ve $Y_i$ değerlerini alt alta yazın.
2. Ortalamaları Bulun: $X$'lerin ortalamasını ($\overline{x}$) ve $Y$'lerin ortalamasını ($\overline{y}$) hesaplayın.
3. Sapmaları Hesaplayın: Her bir satır için $(x_i-\overline{x})$ ve $(y_i-\overline{y})$ değerlerini bulun.
4. Çarpım ve Kareleri Alın: Her satır için sapmaların çarpımını $(x_i-\overline{x})(y_i-\overline{y})$ ve $X$'in sapma karelerini $(x_i-\overline{x}{)}^2$ hesaplayıp sütunları toplayın. (Dikkat ederseniz bu değerlerin aynısı yukarıdaki korelasyon formülünde de lazımdır!)
5. Katsayıları Yerine Koyun: Önce ${\beta }_1$ formülünü, bulduğunuz ${\beta }_1$ değerini kullanarak da ${\beta }_0$ formülünü uygulayın.

Örnek: Aşağıda verilen $X$ ve $Y$ değerleri için en küçük kareler yöntemini kullanarak tahmini regresyon doğrusunu ($\hat{Y}$) bulunuz.

$X$	$1$	$2$	$3$	$4$	$5$
$Y$	$2$	$4$	$5$	$4$	$5$

💡 Çözümü Göster / Gizle

Öncelikle ortalamaları bulalım ($n=5$ veri noktası var): $\overline{x}=\frac{1+2+3+4+5}{5}=\frac{15}{5}=3$$\overline{y}=\frac{2+4+5+4+5}{5}=\frac{20}{5}=4$

Tablomuzu oluşturalım:

$X_i$	$Y_i$	$(x_i-\overline{x})$	$(y_i-\overline{y})$	$(x_i-\overline{x})(y_i-\overline{y})$	$(x_i-\overline{x}{)}^2$
$1$	$2$	$-2$	$-2$	$4$	$4$
$2$	$4$	$-1$	$0$	$0$	$1$
$3$	$5$	$0$	$1$	$0$	$0$
$4$	$4$	$1$	$0$	$0$	$1$
$5$	$5$	$2$	$1$	$2$	$4$
Toplam		-	-	$\sum =6$	$\sum =10$

Formülleri uygulayalım:

$${\beta }_1=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}=\frac{6}{10}=0.6$$$${\beta }_0=\overline{y}-{\beta }_1\overline{x}=4-(0.6\times 3)=4-1.8=2.2$$

Tahmini regresyon doğrusu denklemimiz:

$$\hat{Y}=2.2+0.6X$$

$⊠$

---

Örnek: Bir laboratuvar deneyinde elde edilen $X$ ve $Y$ verileri aşağıda verilmiştir. Gauss Normal Denklemlerini kullanarak regresyon doğrusunu bulunuz.

$X$	$-1$	$0$	$1$	$2$	$3$	$4$	$5$	$6$
$Y$	$10$	$9$	$7$	$5$	$4$	$3$	$0$	$-1$

💡 Çözümü Göster / Gizle

Burada formülün diğer versiyonunu (Gauss Denklemlerini doğrudan çözmeyi) kullanalım. $n=8$ adet verimiz var. Gerekli toplamları bulalım:

• $\sum X_i=(-1)+0+1+2+3+4+5+6=20$
• $\sum Y_i=10+9+7+5+4+3+0+(-1)=37$
• $\sum X_i^2=1+0+1+4+9+16+25+36=92$
• $\sum X_i{Y}_i=(-10)+0+7+10+12+12+0+(-6)=25$

Normal denklemleri yazalım:

1. $\sum y_i=n{\beta }_0+{\beta }_1\sum x_i⟹37=8{\beta }_0+20{\beta }_1$
2. $\sum x_i{y}_i={\beta }_0\sum x_i+{\beta }_1\sum x_i^2⟹25=20{\beta }_0+92{\beta }_1$

Bu iki denklemli sistemi çözelim. Birinci denklemi $-2.5$ ile çarparsak: $-92.5=-20{\beta }_0-50{\beta }_1$

İkinci denklem ile taraf tarafa toplayalım:

$$(-92.5+25)=(-20{\beta }_0+20{\beta }_0)+(-50{\beta }_1+92{\beta }_1)$$$$-67.5=42{\beta }_1⟹{\beta }_1=-\frac{67.5}{42}\approx -1.607$$

Bulduğumuz eğimi ilk denklemde yerine koyalım:

$$37=8{\beta }_0+20(-1.607)$$$$37=8{\beta }_0-32.14⟹8{\beta }_0=69.14⟹{\beta }_0\approx 8.643$$

Sonuç: Regresyon doğrumuz:

$$\hat{Y}=8.643-1.607X$$

(Not: $X$ değerleri artarken $Y$ değerlerinin sürekli düştüğüne dikkat edin. Bu yüzden eğim (${\beta }_1$) negatif çıkmalıdır, pozitif çıkması matematiksel olarak imkansızdır.)

$⊠$