Matris Cebiri ile Tahmin Edicilerde Aranan Özellikler

İçindekiler

Matris cebiri ile tahmin edicilerde aranan özelliklere geçmeden önce popülasyon parametresi ve tahmin edici ayrımının vurgulanması yararlı olacaktır. $\displaystyle Y$ , $\displaystyle X$ , $\displaystyle \beta$ , $\displaystyle \varepsilon$ birer matris olmak üzere, aşağıda yer alan genel doğrusal model popülasyona ilişkin gerçek bir modeli temsil eder.

$\displaystyle {Y_i} = {\beta _0} + {\beta _1}{X_{1i}} + {\beta _2}{X_{2i}} + \ldots + {\beta _{k - 1}}{X_{\left( {k - 1} \right)i}} + {\varepsilon _i}$

$\displaystyle Y = X\beta + \varepsilon$ (I)

$\displaystyle {\beta _0}$ , $\displaystyle {\beta _1}$ gibi parametrelerin ve $\displaystyle {\varepsilon _i}$ hata teriminin üzerinde şapka (hat) işareti olmayan ifadeler, popülasyona ilişkin gerçek modelin parametreleri/hata terimleri olup pratikte bunları elde etmek/hesaplamak mümkün olmaz. Bu yüzden EKK yönteminde temel amaç, popülasyona ait gerçek modelin parametrelerini en az sapma/hata ile örnekleme dayanarak tahmin etmektir. Bu kapsamda $\displaystyle Y$ , $\displaystyle X$ , $\displaystyle \hat \beta$ , $\displaystyle \hat \varepsilon$ birer matris olmak üzere, aşağıdaki model (yukarıda yer alan popülasyona ilişkin gerçek modeli yansıttığı düşünülen) örnekleme dayanılarak elde edilen modeli temsil eder.

$\displaystyle {Y_i} = {\hat \beta _0} + {\hat \beta _1}{X_{1i}} + {\hat \beta _2}{X_{2i}} + \ldots + {\hat \beta _{k - 1}}{X_{\left( {k - 1} \right)i}} + {\hat \varepsilon _i}$

$\displaystyle Y = X\hat \beta + \hat \varepsilon$ (II)

$\displaystyle {\hat \beta _0}$ , $\displaystyle {\hat \beta _1}$ gibi parametrelerin ve $\displaystyle {\hat \varepsilon _i}$ hata teriminin üzerinde şapka (hat) işareti olan ifadeler, örnekleme ilişkin tahmin edilen modelin parametreleri (diğer bir ifadeyle tahmin ediciler/tahmin edilen hata terimleri) olup pratikte bunları elde etmek/hesaplamak mümkündür. Ancak $\displaystyle {\hat \beta _0}$ , $\displaystyle {\hat \beta _1}$ gibi tahmin edicilerin popülasyona ait gerçek modelin parametreleri ile belirli ilişkisel özellikler göstermesi beklenir. Bu yüzden matris cebiri ile tahmin edicilerde aranan özellikler başlığı altında, örnekleme dayanılarak tahmin (elde) edilen parametrelerin ve hata terimlerinin, gerçek modelin parametreleri ve hata terimleri ile aralarında olması gereken ideal ilişkiler “matris cebiri” kullanılarak ele alınacaktır. Bu makalede aksi belirtilmedikçe X, Y, $\displaystyle \beta$ , $\displaystyle \hat \beta$ , $\displaystyle \varepsilon$ , $\displaystyle \hat \varepsilon$ gibi alt indisi belirtilmeyen ifadeler birer matrisi temsil etmektedir. Genel doğrusal modelde k adet parametre ve k-1 adet açıklayıcı değişken bulunduğu ve gözlem sayısının ise “n” olduğu varsayılmıştır.

Matris cebiri kullanılmadan, diğer bir ifadeyle spesifik bir model üzerinden yapılan analizler için “Tahmin Edicilerde Aranan Özellikler” isimli makaleyi inceleyebilirsiniz.

1. Doğrusallık

EKK ile elde edilen tahmin edicilerin açıklayıcı değişkenlerin doğrusal bir fonksiyonu olduğunun ispatı, yukarıdaki I ve II no.lu genel doğrusal modeller üzerinden matris cebiri yöntemiyle gösterilecektir.

$\displaystyle Y = X\beta + \varepsilon$

$\displaystyle Y = X\hat \beta + \hat \varepsilon$

“Matris Cebiri ile En Küçük Kareler Yöntemi” isimli makalenin 1.5 no.lu denkleminde, $\displaystyle \beta$ parametre tahmin edicileri ( $\displaystyle \hat \beta$ ) aşağıdaki formda elde edilmişti.

$\displaystyle \hat \beta = {\left( {X'X} \right)^{ - 1}}X'Y$ (1.1)

Referans verilen sayfada $\displaystyle \beta$ parametre matrisi popülasyona ilişkin gerçek modelin parametre matrisidir. Ancak örnekleme dayalı olarak tahmin edicileri elde etmek amacıyla da gerçek modelin parametre tahmin edicileri kullanılır. Bu durumda ise $\displaystyle \beta$ ifadesi yerine $\displaystyle \hat \beta$ kullanılır.

$\displaystyle \kappa$ ifadesi bir matris olmak üzere aşağıdaki ifadeye eşit olduğu varsayılır.

$\displaystyle \kappa = {\left( {X'X} \right)^{ - 1}}X'$

Bu durumda 1.1 no.lu denklem aşağıdaki şekilde ifade edilebilir.

$\displaystyle \hat \beta = \kappa Y$

“Matris Cebiri ile En Küçük Kareler Yöntemi” isimli makalenin 1.4 no.lu notunda gösterildiği gibi $\displaystyle \kappa$ ifadesi, kxn, Y ifadesi de nx1 boyutlu bir matrise eşittir. Bu durumda $\displaystyle \hat \beta$ matrisi de beklendiği gibi kx1 boyutlu (yani k adet parametrenin tahmin edicilerini içeren) bir sütun vektörüdür.

kx1 boyutlu $\displaystyle \hat \beta$ parametre tahmin edicileri, Y ifadesinin X değişkenlerine (yani $\displaystyle \kappa$ ifadesine) göre ağırlıklandırılmış bir ortalaması olduğundan doğrusal bir tahmin edicidir.

2. Sapmasızlık

Sapmasızlık, örnekleme dayanılarak tahmin edilen $\displaystyle \hat \beta$ parametrelerinin popülasyona ait gerçek modelin $\displaystyle \beta$ parametrelerinin beklenen değerine eşit olmasını ifade eder. EKK ile elde edilen tahmin edicilerin sapmasız olduğunu göstermek için 1.1 no.lu denklemden devam edilir.

$\displaystyle \hat \beta = {\left( {X'X} \right)^{ - 1}}X'Y$

I no.lu denklem (popülasyona ait gerçek model) yukarıdaki denklemde yerine yazılır.

$\displaystyle \hat \beta = {\left( {X'X} \right)^{ - 1}}X'\left( {X\beta + \varepsilon } \right)$

$\displaystyle \hat \beta = \underbrace {{{\left( {X'X} \right)}^{ - 1}}X'X}_I\beta + {\left( {X'X} \right)^{ - 1}}X'\varepsilon$

$\displaystyle \hat \beta = \underbrace I_1\beta + {\left( {X'X} \right)^{ - 1}}X'\varepsilon$

A bir matris ve I birim matris olmak üzere $\displaystyle A = X'X$ , $\displaystyle {A^{ - 1}} = {\left( {X'X} \right)^{ - 1}}$ ve $\displaystyle {A^{ - 1}}A = I$ olur. Bir matrisi, kendi tersi ile çarpmak birim matrisi verdiğinden ve birim matrisin determinantı da 1 olduğundan, $\displaystyle {\left( {X'X} \right)^{ - 1}}X'X = I = 1$ yoluyla $\displaystyle \beta$ sütun vektörü yalnız bırakılmış olur.

$\displaystyle \hat \beta = \beta + {\left( {X'X} \right)^{ - 1}}X'\varepsilon$ (2.1)

2.1 no.lu denklem sistemine beklenen değer operatörü ilave edilir.

$\displaystyle E\left( {\hat \beta } \right) = E\left( \beta \right) + E\left[ {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon } \right]$

$\displaystyle \beta$ ve X matrisleri birer sabit olduğundan beklenen değerleri kendilerine eşittir.

$\displaystyle E\left( {\hat \beta } \right) = \beta + {\left( {X'X} \right)^{ - 1}}X'\underbrace {E\left( \varepsilon \right)}_0$

Hata terimlerinin beklenen değeri sıfırdır.

$\displaystyle E\left( {\hat \beta } \right) = \beta$

$\displaystyle E\left( {\hat \beta } \right) - \beta = 0$ (2.2)

$\displaystyle \hat \beta$ tahmin edicilerinin beklenen değerinin popülasyon (gerçek modelin) parametresi olan $\displaystyle \beta$ ifadelerine eşit olması, $\displaystyle \hat \beta$ tahmin edicilerinin (gerçek modelin parametrelerine göre) sapmasız olduğunu ifade eder.

3. Parametre Varyansları ve Kovaryansları ile Hata Teriminin Varyansı, Minimum Varyans ve Etkinlik

Parametre varyansları ve kovaryansları, $\displaystyle {\hat \beta _0}$ , $\displaystyle {\hat \beta _1}$ , $\displaystyle {\hat \beta _2}$ gibi tahmin edicilerin varyanslarını ve kovaryanslarını, hata teriminin varyansı ise tahmin edilen modelin hata teriminin ( $\displaystyle {\hat \varepsilon _i}$ ifadesinin) varyansını temsil eder. Aşağıda detaylı olarak görüleceği gibi parametre varyansları da hata teriminin varyansından bağımsız değildir. Ancak minimum varyans kavramı ile esas olarak hata teriminin varyansının minimum olmasına değil, parametrelerin ( $\displaystyle {\hat \beta _0}$ , $\displaystyle {\hat \beta _1}$ , $\displaystyle {\hat \beta _2}$ gibi tahmin edicilerin) varyansının minimum olmasına işaret edilir.

Parametre varyansları ve kovaryansları ile hata teriminin varyansı konusuna, (tahmin edicilerde aranan özellikler ile doğrudan ilgili olmamasına rağmen) makalenin bütünlüğünün korunması amacıyla bu bölümde yer verilmiştir.

Parametre Varyansları ve Kovaryansları

Matris cebiri ile parametre varyansları ve kovaryansları (toplam sembollerinin kullanıldığı normal cebirsel yöntemde olduğu gibi) farklı yollardan elde edilmez. Bu yüzden matris cebiri ile işlem yapılırken parametrelerin varyansları ile birlikte aynı zamanda kovaryansları da elde edildiğinden $\displaystyle Var\left( {\hat \beta } \right)$ ifadesi yerine $\displaystyle Var - Cov\left( {\hat \beta } \right)$ ifadesi kullanılır.

Varyans, tanım gereği bir değişkenin kendi ortalamasından farklarının kareleri toplamı olduğundan, $\displaystyle Var - Cov\left( {\hat \beta } \right)$ matrisini elde etmek için kx1 boyutlu $\displaystyle \left( {\hat \beta - E\left( {\hat \beta } \right)} \right)$ matrisi “sağdan” (1xk boyutlu) transpozu ile çarpılarak beklenen değeri alınır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = E\left[ {\left( {\hat \beta - E\left( {\hat \beta } \right)} \right){{\left( {\hat \beta - E\left( {\hat \beta } \right)} \right)}^\prime }} \right]$ (3.1)

Not 3.1: Bir matrisin transpozunu (devriğini) almak, o matrisin satırlarının sütun, sütunlarının da satır biçiminde ifade edilmesi anlamına gelir.

A ve B birer matris olmak üzere, A ve B matrislerinde AB biçiminde çarpma işlemi yapmak için soldaki ifadenin (A’nın) sütun sayısı sağdaki ifadenin (B’nin) satır sayısına eşit olmalıdır. Yeni matrisin boyutu da birinci matrisin (A’nın) satır sayısı ile ikinci matrisin (B’nin) sütun sayısına eşit olacaktır.

$\displaystyle A = {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]_{pxm}}$ ve $\displaystyle B = {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]_{mxk}}$ olmak üzere, $\displaystyle AB = {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]_{pxk}}$ boyutlarında bir matris elde edilir.

3.1 no.lu nota göre kx1 boyutlu $\displaystyle \left( {\hat \beta - E\left( {\hat \beta } \right)} \right)$ matrisi “sağdan” (1xk boyutlu) transpozu ile çarpılması sonucu kxk boyutlu bir kare matris elde edilir.

$\displaystyle \underbrace {\left( {\hat \beta - E\left( {\hat \beta } \right)} \right){{\left( {\hat \beta - E\left( {\hat \beta } \right)} \right)}^\prime }}_A = \left[ {\begin{array}{*{20}{c}} {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \\ {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \\ {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \\ \vdots \\ {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \end{array}} \right]{\left[ {\begin{array}{*{20}{c}} {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \\ {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \\ {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \\ \vdots \\ {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \end{array}} \right]^\prime } = {\left[ {\begin{array}{*{20}{c}} {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \\ {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \\ {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \\ \vdots \\ {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \end{array}} \right]_{kx1}}{\left[ {\begin{array}{*{20}{c}} {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)}&{{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)}&{{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)}& \ldots &{{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \end{array}} \right]_{1xk}}$

Denklemin sayfaya sığdırılabilmesi amacıyla denklem sisteminin solundaki ifadenin A’ya eşit olduğu kabul edilmiştir.

$\displaystyle A = {\left[ {\begin{array}{*{20}{c}} {{{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}^2}}&{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}&{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}& \ldots &{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)} \\ {\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}&{{{\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}^2}}&{\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}& \ldots &{\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)} \\ {\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}&{\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}&{{{\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}^2}}& \ldots &{\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)} \\ \vdots &{}&{}&{}& \vdots \\ {\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}&{\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}&{\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}& \ldots &{{{\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)}^2}} \end{array}} \right]_{kxk}}$

kxk boyutlu yukarıdaki A matrisine beklenen değer operatörü ilave edilir.

$\displaystyle E\left( A \right) = E{\left[ {\begin{array}{*{20}{c}} {{{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}^2}}&{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}&{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}& \ldots &{\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)} \\ {\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}&{{{\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}^2}}&{\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}& \ldots &{\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)} \\ {\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}&{\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}&{{{\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}^2}}& \ldots &{\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)} \\ \vdots &{}&{}&{}& \vdots \\ {\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)\left( {{{\hat \beta }_0} - E\left( {{{\hat \beta }_0}} \right)} \right)}&{\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)\left( {{{\hat \beta }_1} - E\left( {{{\hat \beta }_1}} \right)} \right)}&{\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)\left( {{{\hat \beta }_2} - E\left( {{{\hat \beta }_2}} \right)} \right)}& \ldots &{{{\left( {{{\hat \beta }_k} - E\left( {{{\hat \beta }_k}} \right)} \right)}^2}} \end{array}} \right]_{kxk}}$

Beklenen değer operatörü matrisin içindeki tüm elemanlara dağıtılır. Ancak teknik sebeplerden dolayı (matrisin sayfaya sığdırılabilmesi için) beklenen değer operatörünün matrisin içindeki tüm elemanlara ilave edildiği varsayılmıştır. Ayrıca $\displaystyle E\left( A \right) = Var - Cov\left( {\hat \beta } \right)$ olacağından aşağıda yerine yazılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = {\left[ {\begin{array}{*{20}{c}} {Var\left( {{{\hat \beta }_0}} \right)}&{Cov\left( {{{\hat \beta }_0},{{\hat \beta }_1}} \right)}&{Cov\left( {{{\hat \beta }_0},{{\hat \beta }_2}} \right)}& \ldots &{Cov\left( {{{\hat \beta }_0},{{\hat \beta }_k}} \right)} \\ {Cov\left( {{{\hat \beta }_1},{{\hat \beta }_0}} \right)}&{Var\left( {{{\hat \beta }_1}} \right)}&{Cov\left( {{{\hat \beta }_1},{{\hat \beta }_2}} \right)}& \ldots &{Cov\left( {{{\hat \beta }_1},{{\hat \beta }_k}} \right)} \\ {Cov\left( {{{\hat \beta }_2},{{\hat \beta }_0}} \right)}&{Cov\left( {{{\hat \beta }_2},{{\hat \beta }_1}} \right)}&{Var\left( {{{\hat \beta }_2}} \right)}& \ldots &{Cov\left( {{{\hat \beta }_2},{{\hat \beta }_k}} \right)} \\ \vdots &{}&{}&{}& \vdots \\ {Cov\left( {{{\hat \beta }_k},{{\hat \beta }_0}} \right)}&{Cov\left( {{{\hat \beta }_k},{{\hat \beta }_1}} \right)}&{Cov\left( {{{\hat \beta }_k},{{\hat \beta }_2}} \right)}& \ldots &{Var\left( {{{\hat \beta }_k}} \right)} \end{array}} \right]_{kxk}}$ (3.2)

kxk boyutlu yukarıdaki $\displaystyle Var - Cov\left( {\hat \beta } \right)$ matrisinin asal köşegeni $\displaystyle {\hat \beta _0}$ , $\displaystyle {\hat \beta _1}$ , $\displaystyle {\hat \beta _2}$ gibi parametre tahmin edicilerin varyanslarını, diğer elemanları ise kovaryanslarını verir.

Eğer kx1 boyutlu $\displaystyle \left( {\hat \beta - E\left( {\hat \beta } \right)} \right)$ matrisi “sağdan” değil de “soldan” (1xk boyutlu) transpozu ile çarpılsaydı, sonucu kxk boyutlu bir kare matris değil, 1×1 boyutlu bir skaler olurdu.

$\displaystyle {\left( {\hat \beta - E\left( {\hat \beta } \right)} \right)^\prime }\left( {\hat \beta - E\left( {\hat \beta } \right)} \right) = {\left[ {Skaler} \right]_{1x1}}$

kx1 boyutlu $\displaystyle \left( {\hat \beta - E\left( {\hat \beta } \right)} \right)$ matrisinin “sağdan” değil de “soldan” (1xk boyutlu) transpozu ile çarpılması sonucu 1×1 boyutlu bir skalerin elde edilmesi süreci için “Genel Doğrusal Modelin Varsayımları” isimli makalenin 5. Varsayım konusunda yer alan 5.2 no.lu not ve devamında yer alan matrislere ilişkin yapılan açıklamalar gözden geçirilebilir.

Yukarıda yapılan açıklamalardan sonra 3.1 no.lu denklem sisteminden devam edilir.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = E\left[ {\left( {\hat \beta - \underbrace {E\left( {\hat \beta } \right)}_\beta } \right){{\left( {\hat \beta - \underbrace {E\left( {\hat \beta } \right)}_\beta } \right)}^\prime }} \right]$

2.2 no.lu denklem sisteminden hareketle $\displaystyle E\left( {\hat \beta } \right)$ yerine $\displaystyle \beta$ yazılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = E\left[ {\left( {\hat \beta - \beta } \right){{\left( {\hat \beta - \beta } \right)}^\prime }} \right]$

$\displaystyle Var - Cov\left( {\hat \beta } \right) = E\left[ {\underbrace {\left( {\hat \beta - \beta } \right)}_{{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon }{{\underbrace {\left( {\hat \beta - \beta } \right)}_{{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon }}^\prime }} \right]$

2.1 no.lu denklem sisteminden hareketle $\displaystyle \hat \beta - \beta$ yerine $\displaystyle {\left( {X'X} \right)^{ - 1}}X'\varepsilon$ yazılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = E\left[ {\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon } \right){{\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon } \right)}^\prime }} \right]$

Not 3.2: A, B ve C birer matrisi temsil etmek üzere, matrislerde transpoze işlemi aşağıdaki gibi tanımlıdır.

$\displaystyle {\left( {AB} \right)^\prime } = B'A'$

$\displaystyle A'BC = C'B'A$

$\displaystyle {\left( {C + AB} \right)^\prime } = \left( {C' + B'A'} \right)$

$\displaystyle {\left( {A'} \right)^\prime } = A$

3.2 no.lu nota göre parantez dışında yer alan transpoze parantez içine dağıtılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = E\left[ {\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon } \right)\left( {\varepsilon 'X{{\left( {X'X} \right)}^{ - 1}}} \right)} \right]$

$\displaystyle Var - Cov\left( {\hat \beta } \right) = E\left[ {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon \varepsilon 'X{{\left( {X'X} \right)}^{ - 1}}} \right]$

Beklenen değer operatörü parantez içine dağıtılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = \left[ {E\left( {{{\left( {X'X} \right)}^{ - 1}}} \right)E\left( {X'} \right)E\left( {\varepsilon \varepsilon '} \right)E\left( X \right)E\left( {{{\left( {X'X} \right)}^{ - 1}}} \right)} \right]$

X matrisleri gözlemlenen değişkenlerden oluştuğu ve bu sebeple de birer sabit olduğu için beklenen değerleri kendisine eşittir.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = {\left( {X'X} \right)^{ - 1}}X'\underbrace {E\left( {\varepsilon \varepsilon '} \right)}_{\delta _\varepsilon ^2}X{\left( {X'X} \right)^{ - 1}}$

“Genel Doğrusal Modelin Varsayımları” isimli makalenin 5. Varsayım konusunda $\displaystyle E\left( {\varepsilon \varepsilon '} \right) = \delta _\varepsilon ^2$ olduğundan yukarıdaki denklem sisteminde yerine yazılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = {\left( {X'X} \right)^{ - 1}}X'\delta _\varepsilon ^2X{\left( {X'X} \right)^{ - 1}}$

Hata teriminin sabit olan varyansını temsil eden $\displaystyle \delta _\varepsilon ^2$ ifadesi skaler bir büyüklük olup bir sabittir. Bu yüzden yukarıdaki denklem sisteminde herhangi bir yerde konumlandırılabildiğinden en sola alınabilir.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = \delta _\varepsilon ^2\underbrace {{{\left( {X'X} \right)}^{ - 1}}X'X}_I{\left( {X'X} \right)^{ - 1}}$

$\displaystyle Var - Cov\left( {\hat \beta } \right) = \delta _\varepsilon ^2\underbrace I_1{\left( {X'X} \right)^{ - 1}}$

I birim matrisi de 1 skalerine eşit olduğundan $\displaystyle \hat \beta$ tahmin edicilerinin varyansları ve kovaryansları elde edilir.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = \delta _\varepsilon ^2{\left( {X'X} \right)^{ - 1}}$ (3.3)

X matrisi nxk boyut bir matris olduğu için $\displaystyle {\left( {X'X} \right)^{ - 1}}$ ifadesi de 3.1 ve 3.2 no.lu notlara göre kxk boyutlu bir matrise eşit olacaktır.

$\displaystyle {\left( {X'X} \right)^{ - 1}} = {\left[ {\begin{array}{*{20}{c}} {{a_{00}}}&{{a_{01}}}&{{a_{02}}}& \ldots &{{a_{0k}}} \\ {{a_{10}}}&{{a_{11}}}&{{a_{12}}}& \ldots &{{a_{1k}}} \\ {{a_{20}}}&{{a_{21}}}&{{a_{22}}}& \ldots &{{a_{2k}}} \\ \vdots &{}&{}&{}& \vdots \\ {{a_{k0}}}&{{a_{k1}}}&{{a_{k2}}}& \ldots &{{a_{kk}}} \end{array}} \right]_{kxk}}$

Yukarıdaki matriste bulunan $\displaystyle {a_{00}}$ , $\displaystyle {a_{01}}$ , $\displaystyle {a_{02}}$ gibi ifadeler $\displaystyle {\left( {X'X} \right)^{ - 1}}$ matrisinin (parametre tahmin edicilerin varyansını ve kovaryansını elde etmede rol oynayacak $\displaystyle {X_1}$ , $\displaystyle {X_2}$ , $\displaystyle {X_3}$ gibi açıklayıcı değişkenlerin matematiksel kombinasyonlarından oluşan) elemanlarıdır. Yukarıdaki $\displaystyle {\left( {X'X} \right)^{ - 1}}$ matrisi 3.3 no.lu denklemde yerine yazılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = \delta _\varepsilon ^2{\left[ {\begin{array}{*{20}{c}} {{a_{00}}}&{{a_{01}}}&{{a_{02}}}& \ldots &{{a_{0k}}} \\ {{a_{10}}}&{{a_{11}}}&{{a_{12}}}& \ldots &{{a_{1k}}} \\ {{a_{20}}}&{{a_{21}}}&{{a_{22}}}& \ldots &{{a_{2k}}} \\ \vdots &{}&{}&{}& \vdots \\ {{a_{k0}}}&{{a_{k1}}}&{{a_{k2}}}& \ldots &{{a_{kk}}} \end{array}} \right]_{kxk}}$

Hata teriminin sabit olan varyansını temsil eden $\displaystyle \delta _\varepsilon ^2$ ifadesi matrisin içine dağıtılır.

$\displaystyle Var - Cov\left( {\hat \beta } \right) = {\left[ {\begin{array}{*{20}{c}} {\left( {\delta _\varepsilon ^2} \right){a_{00}}}&{\left( {\delta _\varepsilon ^2} \right){a_{01}}}&{\left( {\delta _\varepsilon ^2} \right){a_{02}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{0k}}} \\ {\left( {\delta _\varepsilon ^2} \right){a_{10}}}&{\left( {\delta _\varepsilon ^2} \right){a_{11}}}&{\left( {\delta _\varepsilon ^2} \right){a_{12}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{1k}}} \\ {\left( {\delta _\varepsilon ^2} \right){a_{20}}}&{\left( {\delta _\varepsilon ^2} \right){a_{21}}}&{\left( {\delta _\varepsilon ^2} \right){a_{22}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{2k}}} \\ \vdots &{}&{}&{}& \vdots \\ {\left( {\delta _\varepsilon ^2} \right){a_{k0}}}&{\left( {\delta _\varepsilon ^2} \right){a_{k1}}}&{\left( {\delta _\varepsilon ^2} \right){a_{k2}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{kk}}} \end{array}} \right]_{kxk}}$

3.2 no.lu matris ile yukarıdaki matrisin her ikisi de $\displaystyle \hat \beta$ tahmin edicilerin varyans-kovaryans matrisi olduğu için yukarıdaki denklem sisteminde $\displaystyle Var - Cov\left( {\hat \beta } \right)$ yerine 3.2 no.lu matris yazılır.

$\displaystyle {\left[ {\begin{array}{*{20}{c}} {Var\left( {{{\hat \beta }_0}} \right)}&{Cov\left( {{{\hat \beta }_0},{{\hat \beta }_1}} \right)}&{Cov\left( {{{\hat \beta }_0},{{\hat \beta }_2}} \right)}& \ldots &{Cov\left( {{{\hat \beta }_0},{{\hat \beta }_k}} \right)} \\ {Cov\left( {{{\hat \beta }_1},{{\hat \beta }_0}} \right)}&{Var\left( {{{\hat \beta }_1}} \right)}&{Cov\left( {{{\hat \beta }_1},{{\hat \beta }_2}} \right)}& \ldots &{Cov\left( {{{\hat \beta }_1},{{\hat \beta }_k}} \right)} \\ {Cov\left( {{{\hat \beta }_2},{{\hat \beta }_0}} \right)}&{Cov\left( {{{\hat \beta }_2},{{\hat \beta }_1}} \right)}&{Var\left( {{{\hat \beta }_2}} \right)}& \ldots &{Cov\left( {{{\hat \beta }_2},{{\hat \beta }_k}} \right)} \\ \vdots &{}&{}&{}& \vdots \\ {Cov\left( {{{\hat \beta }_k},{{\hat \beta }_0}} \right)}&{Cov\left( {{{\hat \beta }_k},{{\hat \beta }_1}} \right)}&{Cov\left( {{{\hat \beta }_k},{{\hat \beta }_2}} \right)}& \ldots &{Var\left( {{{\hat \beta }_k}} \right)} \end{array}} \right]_{kxk}} = {\left[ {\begin{array}{*{20}{c}} {\left( {\delta _\varepsilon ^2} \right){a_{00}}}&{\left( {\delta _\varepsilon ^2} \right){a_{01}}}&{\left( {\delta _\varepsilon ^2} \right){a_{02}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{0k}}} \\ {\left( {\delta _\varepsilon ^2} \right){a_{10}}}&{\left( {\delta _\varepsilon ^2} \right){a_{11}}}&{\left( {\delta _\varepsilon ^2} \right){a_{12}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{1k}}} \\ {\left( {\delta _\varepsilon ^2} \right){a_{20}}}&{\left( {\delta _\varepsilon ^2} \right){a_{21}}}&{\left( {\delta _\varepsilon ^2} \right){a_{22}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{2k}}} \\ \vdots &{}&{}&{}& \vdots \\ {\left( {\delta _\varepsilon ^2} \right){a_{k0}}}&{\left( {\delta _\varepsilon ^2} \right){a_{k1}}}&{\left( {\delta _\varepsilon ^2} \right){a_{k2}}}& \ldots &{\left( {\delta _\varepsilon ^2} \right){a_{kk}}} \end{array}} \right]_{kxk}}$

Not 3.3: a ve b birer değişken ve $\displaystyle i \ne j$ olmak üzere kovaryans için aşağıdaki özellik geçerlidir.

$\displaystyle Cov\left( {{a_i},{b_j}} \right) = Cov\left( {{a_j},{b_i}} \right)$

Yukarıdaki matrislerin parametre varyansları ve kovaryansları arasındaki ilişkisi 3.3 no.lu nota göre aşağıdaki tabloda özetlenmiştir.

Parametre Varyansları	Parametre Kovaryansları
$\displaystyle Var\left( {{{\hat \beta }_0}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{00}}$	$\displaystyle Cov\left( {{{\hat \beta }_0},{{\hat \beta }_1}} \right) = Cov\left( {{{\hat \beta }_1},{{\hat \beta }_0}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{01}} = \left( {\delta _\varepsilon ^2} \right){a_{10}}$
$\displaystyle Var\left( {{{\hat \beta }_1}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{11}}$	$\displaystyle Cov\left( {{{\hat \beta }_1},{{\hat \beta }_2}} \right) = Cov\left( {{{\hat \beta }_2},{{\hat \beta }_1}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{12}} = \left( {\delta _\varepsilon ^2} \right){a_{21}}$
$\displaystyle Var\left( {{{\hat \beta }_2}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{22}}$	$\displaystyle Cov\left( {{{\hat \beta }_2},{{\hat \beta }_3}} \right) = Cov\left( {{{\hat \beta }_3},{{\hat \beta }_2}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{23}} = \left( {\delta _\varepsilon ^2} \right){a_{32}}$
$\displaystyle \vdots$	$\displaystyle \vdots$
$\displaystyle Var\left( {{{\hat \beta }_k}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{kk}}$	$\displaystyle Cov\left( {{{\hat \beta }_{k - 1}},{{\hat \beta }_k}} \right) = Cov\left( {{{\hat \beta }_k},{{\hat \beta }_{k - 1}}} \right) = \left( {\delta _\varepsilon ^2} \right){a_{\left( {k - 1} \right)k}} = \left( {\delta _\varepsilon ^2} \right){a_{k\left( {k - 1} \right)}}$

Parametre tahmin edicilerin varyansları ve kovaryanslarının hata teriminin ve X değişkenlerinin bir fonksiyonu olduğu yukarıdaki tablodan kolaylıkla görülebilir. Bu çerçevede parametre varyansları ve kovaryansları hata teriminin varyansı $\displaystyle \delta _\varepsilon ^2$ ifadesinin doğrusal bir fonksiyonudur.

Hata Teriminin Varyansı

Aşağıda yapılacak işlemlerde $\displaystyle \hat \varepsilon$ matrisinin sütun vektörü olduğu varsayılmıştır. Konuyla ilgili daha fazla bilgi için “Genel Doğrusal Modelin Varsayımları” isimli makalenin 5. Varsayım konusunda yer alan 5.2 no.lu not ve devamında yer alan matrislere ilişkin yapılan açıklamalar veya “Matris Cebiri ile En Küçük Kareler Yöntemi” isimli makale gözden geçirilebilir.

En küçük kareler yönteminde hata teriminin varyansını temsil eden $\displaystyle \delta _\varepsilon ^2$ ifadesini elde etmek için herhangi bir yöntem bulunmamaktadır. Ancak yukarıda gösterildiği gibi parametre varyanslarının elde edilebilmesi için hata teriminin varyansına da ihtiyaç duyulmaktadır. Bununla birlikte Maksimum Olabilirlik (Maximum Likelihood) yönteminde hata teriminin varyansı aşağıdaki denklem ile elde edilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{\hat \varepsilon '\hat \varepsilon }}{n}$ (3.4)

EKK ile hata teriminin varyansını elde etmek için yukarıdaki maksimum olabilirlik yöntemine ilişkin denklemin uyarlanmış formundan yararlanılır. Söz konusu uyarlama işlemi ise tahmin edilen hata terimlerinin kareleri toplamının serbestlik derecesine bölümüdür.

$\displaystyle \delta _\varepsilon ^2 = \frac{{\hat \varepsilon '\hat \varepsilon }}{{n - k}}$ (3.5)

En Küçük Kareler Yönteminde Hata Teriminin Varyansı

“k” modelde bulunan (sabit terim dahil) parametre sayısı ve “n” gözlem sayısı olmak üzere serbestlik derecesi n-k olarak tanımlanır. EKK yönteminde tahmin edilen hata teriminin varyansını elde etmek için 3.5 no.lu denklemin payında yer alan stokastik özellikli $\displaystyle \hat \varepsilon '\hat \varepsilon$ ifadesinin deterministik özellikli açıklanan (Y) ve açıklayıcı (X) değişkenler cinsinden ifade edilmesi gerekir. Bu amaçla hata teriminin varyansını elde etmek için örnekleme dayalı II no.lu denklemden hareket edilir.

$\displaystyle Y = X\hat \beta + \hat \varepsilon$

$\displaystyle \hat \varepsilon$ ifadesi yalnız bırakılır.

$\displaystyle \hat \varepsilon = Y - X\hat \beta$

Denklem sisteminin her iki tarafı da soldan kendi transpozu ile çarpılır.

$\displaystyle \hat \varepsilon '\hat \varepsilon = {\left( {Y - X\hat \beta } \right)^\prime }\left( {Y - X\hat \beta } \right)$

Yukarıdaki denklem sistemi 3.5 no.lu denklemde yerine yazılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{{{\left( {Y - X\hat \beta } \right)}^\prime }\left( {Y - X\hat \beta } \right)}}{{n - k}}$

Yukarıdaki denklem sisteminde $\displaystyle \hat \beta$ yerine, tamamen deterministik kısımlardan oluşan 1.1 no.lu denklem sistemi yazılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{{{\left( {Y - X{{\left( {X'X} \right)}^{ - 1}}X'Y} \right)}^\prime }\left( {Y - X{{\left( {X'X} \right)}^{ - 1}}X'Y} \right)}}{{n - k}}$

3.2 no.lu nota göre parantez dışındaki transpoze parantez içine aktarılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{\left( {Y' - Y'X{{\left( {X'X} \right)}^{ - 1}}X'} \right)\left( {Y - X{{\left( {X'X} \right)}^{ - 1}}X'Y} \right)}}{{n - k}}$

Parantez içindeki ifadeler, sağ/sol sırası gözetilerek (yani konumlarında herhangi bir değişiklik yapılmadan) birbirleri ile çarpılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y + Y'X\overbrace {{{\left( {X'X} \right)}^{ - 1}}X'X}^I{{\left( {X'X} \right)}^{ - 1}}X'Y}}{{n - k}}$

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y + Y'X\overbrace I^1{{\left( {X'X} \right)}^{ - 1}}X'Y}}{{n - k}}$

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y - \cancel{{Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y}} + \cancel{{Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y}}}}{{n - k}}$

Böylece hata teriminin varyansı elde edilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y}}{{n - k}}$ (3.6)

3.6 no.lu denklem sisteminden devam edilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X\overbrace {{{\left( {X'X} \right)}^{ - 1}}X'Y}^{\hat \beta }}}{{n - k}}$

Yukarıdaki denklem sisteminde işaretlenen bölümün yerine 1.1 no.lu denklem sistemi yazılabilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X\hat \beta }}{{n - k}}$ (3.7)

Tekrar 3.6 no.lu denklem sisteminden devam edilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - \overbrace {Y'X{{\left( {X'X} \right)}^{ - 1}}}^{\hat \beta }X'Y}}{{n - k}}$

Yukarıdaki denklem sisteminde işaretlenen bölümün yerine, “Matris Cebiri ile En Küçük Kareler Yöntemi” isimli makalede yer alan 1.6 no.lu denklem sistemi olan $\displaystyle \hat \beta = Y'X{\left( {X'X} \right)^{ - 1}}$ yazılabilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - \hat \beta X'Y}}{{n - k}}$ (3.8)

Maksimum Olabilirlik Yönteminde Hata Teriminin Varyansı

Maksimum olabilirlik yönteminde tahmin edilen hata teriminin varyansını elde etmek için 3.4 no.lu denklemin payında yer alan stokastik özellikli $\displaystyle \hat \varepsilon '\hat \varepsilon$ ifadesinin deterministik özellikli açıklanan (Y) ve açıklayıcı (X) değişkenler cinsinden ifade edilmesi gerekir. Bu amaçla hata teriminin varyansını elde etmek için örnekleme dayalı II no.lu denklemden hareket edilir.

$\displaystyle Y = X\hat \beta + \hat \varepsilon$

$\displaystyle \hat \varepsilon$ ifadesi yalnız bırakılır.

$\displaystyle \hat \varepsilon = Y - X\hat \beta$

Denklem sisteminin her iki tarafı da soldan kendi transpozu ile çarpılır.

$\displaystyle \hat \varepsilon '\hat \varepsilon = {\left( {Y - X\hat \beta } \right)^\prime }\left( {Y - X\hat \beta } \right)$

Yukarıdaki denklem sistemi 3.4 no.lu denklemde yerine yazılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{{{\left( {Y - X\hat \beta } \right)}^\prime }\left( {Y - X\hat \beta } \right)}}{n}$

Yukarıdaki denklem sisteminde $\displaystyle \hat \beta$ yerine, tamamen deterministik kısımlardan oluşan 1.1 no.lu denklem sistemi yazılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{{{\left( {Y - X{{\left( {X'X} \right)}^{ - 1}}X'Y} \right)}^\prime }\left( {Y - X{{\left( {X'X} \right)}^{ - 1}}X'Y} \right)}}{n}$

3.2 no.lu nota göre parantez dışındaki transpoze parantez içine aktarılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{\left( {Y' - Y'X{{\left( {X'X} \right)}^{ - 1}}X'} \right)\left( {Y - X{{\left( {X'X} \right)}^{ - 1}}X'Y} \right)}}{n}$

Parantez içindeki ifadeler, sağ/sol sırası gözetilerek (yani konumlarında herhangi bir değişiklik yapılmadan) birbirleri ile çarpılır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y + Y'X\overbrace I^1{{\left( {X'X} \right)}^{ - 1}}X'Y}}{n}$

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y - \cancel{{Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y}} + \cancel{{Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y}}}}{n}$

Böylece hata teriminin varyansı elde edilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'Y - Y'X{{\left( {X'X} \right)}^{ - 1}}X'Y}}{n}$ (3.9)

EKK yönteminde hata teriminin varyansını farklı şekilde ifade etmek için yukarıdaki denklem sisteminde $\displaystyle \hat \beta$ yerine, $\displaystyle \hat \beta$ matrisinin eşiti yazılmıştı. Ancak $\displaystyle \hat \beta$ parametre tahmin edicileri EKK yöntemiyle elde edildiğinden, maksimum olabilirlik yöntemiyle elde edilecek hata teriminin varyansında kullanılamaz. Bu çerçevede 3.9 no.lu denklemden devam edilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{\overbrace {Y'}^{}Y - \overbrace {Y'}^{}X{{\left( {X'X} \right)}^{ - 1}}X'Y}}{n}$

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'\left( {\overbrace Y^{} - X{{\left( {X'X} \right)}^{ - 1}}X'\overbrace Y^{}} \right)}}{n}$

Matrislerde bir matrisin sağdan veya soldan çarpımı belirleyici bir özellik olduğundan, yukarıda da $\displaystyle Y'$ matrisleri soldan, $\displaystyle Y$ matrisleri ise sağdan parantez dışına alınmıştır.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'\overbrace {\left( {I - X{{\left( {X'X} \right)}^{ - 1}}X'} \right)}^KY}}{n}$

nxn boyutlu $\displaystyle \left( {I - X{{\left( {X'X} \right)}^{ - 1}}X'} \right)$ ifadesinin yine nxn boyutlu K matrisine eşit olduğu kabul edilerek maksimum olabilirlik yönteminde hata teriminin varyansı, 1×1 boyutlu bir skalere eşit olan $\displaystyle Y'KY$ denklem sisteminin “n” ifadesine bölümü olup aşağıdaki şekilde de ifade edilebilir.

$\displaystyle \delta _\varepsilon ^2 = \frac{{Y'KY}}{n}$ (3.10)

Minimum Varyans ve Etkinlik

Etkinlik, sapmasız tahmin ediciler arasında minimum varyansa sahip olan tahmin edici olarak tanımlanabilir. EKK tahmin edicisinin alternatif tahmin ediciler arasında minimum varyansa sahip, dolayısıyla etkin bir tahmin edici olduğunu ispatlamak amacıyla “Doğrusallık” konusunda yer alan aşağıdaki ilişkilerden yararlanılacaktır.

$\displaystyle \hat \beta = {\left( {X'X} \right)^{ - 1}}X'Y$ ve $\displaystyle \kappa = {\left( {X'X} \right)^{ - 1}}X'$ olmak üzere $\displaystyle \hat \beta$ ifadesi aşağıdaki ifadeye eşitti.

$\displaystyle \hat \beta = \kappa Y$

$\displaystyle {}^*\hat \beta$ alternatif tahmin edicisini temsil etmek üzere, EKK tahmin edicisinin alternatif tahmin ediciler arasında minimum varyansa sahip, dolayısıyla etkin bir tahmin edici olduğunu ispatlamak amacıyla $\displaystyle {}^*\hat \beta$ alternatif tahmin edicisi aşağıdaki şekilde tanımlanır.

$\displaystyle {}^*\hat \beta = \left[ {{{\left( {X'X} \right)}^{ - 1}}X' + P} \right]Y$ (3.11)

Yukarıdaki denklem sisteminin çözümünün parametre tahmin edicilerini içeren kx1 boyutlu bir matrise eşit olabilmesi için P matrisinin kxn boyutlu ve X matrisleri gibi deterministik olduğu varsayılmıştır.

$\displaystyle \phi$ ifadesi bir matris olmak üzere aşağıdaki ifadeye eşit olduğu varsayılır.

$\displaystyle \phi = {\left( {X'X} \right)^{ - 1}}X' + P$

Bu durumda 3.11 no.lu denklem aşağıdaki şekilde ifade edilebilir.

$\displaystyle {}^*\hat \beta = \phi Y$

“Matris Cebiri ile En Küçük Kareler Yöntemi” isimli makalenin 1.4 no.lu notunda gösterildiği gibi $\displaystyle \phi$ ifadesi, kxn, Y ifadesi de nx1 boyutlu bir matrise eşittir. Bu durumda $\displaystyle {}^*\hat \beta$ matrisi de beklendiği gibi kx1 boyutlu (yani k adet parametrenin alternatif tahmin edicilerini içeren) bir sütun vektörüdür.

kx1 boyutlu $\displaystyle {}^*\hat \beta$ alternatif parametre tahmin edicileri, Y ifadesinin X değişkenlerine (yani $\displaystyle \phi$ ifadesine) göre ağırlıklandırılmış bir ortalaması olduğundan, EKK ile elde edilen $\displaystyle \hat \beta$ parametre tahmin edicileri gibi doğrusal bir tahmin edicidir.

EKK dışında elde edilen alternatif tahmin edicilerin sapmasız olduğunu göstermek için 3.11 no.lu denklemden devam edilir.

$\displaystyle {}^*\hat \beta = \left[ {{{\left( {X'X} \right)}^{ - 1}}X' + P} \right]Y$

I no.lu denklem (popülasyona ait gerçek model) yukarıdaki denklemde yerine yazılır.

$\displaystyle {}^*\hat \beta = \left[ {{{\left( {X'X} \right)}^{ - 1}}X' + P} \right]\left( {X\beta + \varepsilon } \right)$

$\displaystyle {}^*\hat \beta = \underbrace {{{\left( {X'X} \right)}^{ - 1}}X'X}_I\beta + {\left( {X'X} \right)^{ - 1}}X'\varepsilon + PX\beta + P\varepsilon$

$\displaystyle {}^*\hat \beta = \underbrace I_1\beta + {\left( {X'X} \right)^{ - 1}}X'\varepsilon + PX\beta + P\varepsilon$

$\displaystyle {}^*\hat \beta = \beta + {\left( {X'X} \right)^{ - 1}}X'\varepsilon + PX\beta + P\varepsilon$ (3.12)

3.12 no.lu denklem sistemine beklenen değer operatörü ilave edilir.

$\displaystyle E\left( {{}^*\hat \beta } \right) = E\left( \beta \right) + E\left( {{{\left( {X'X} \right)}^{ - 1}}X'} \right)E\left( \varepsilon \right) + E\left( {PX\beta } \right) + E\left( P \right)E\left( \varepsilon \right)$

$\displaystyle \beta$ , X ve P matrisleri birer sabit olduğundan beklenen değerleri kendilerine eşittir.

$\displaystyle E\left( {{}^*\hat \beta } \right) = \beta + {\left( {X'X} \right)^{ - 1}}X'\underbrace {E\left( \varepsilon \right)}_0 + PX\beta + P\underbrace {E\left( \varepsilon \right)}_0$

Hata terimlerinin beklenen değeri sıfırdır.

$\displaystyle E\left( {{}^*\hat \beta } \right) = \beta + PX\beta$ (3.13)

$\displaystyle {}^*\hat \beta$ alternatif parametre tahmin edicilerinin sapmasız olması için $\displaystyle PX = 0$ olması gerekir. $\displaystyle PX = 0$ varsayımında yukarıdaki ifade aşağıdaki şekilde ifade edilir.

$\displaystyle E\left( {{}^*\hat \beta } \right) = \beta + \underbrace {PX}_0\beta$

$\displaystyle E\left( {{}^*\hat \beta } \right) - \beta = 0$ (3.14)

$\displaystyle PX = 0$ varsayımının geçerli olması durumunda, $\displaystyle {}^*\hat \beta$ alternatif tahmin edicilerinin beklenen değerinin popülasyon (gerçek modelin) parametresi olan $\displaystyle \beta$ ifadelerine eşit olması, $\displaystyle {}^*\hat \beta$ tahmin edicilerinin (gerçek modelin parametrelerine göre) sapmasız olduğunu ifade eder.

$\displaystyle {}^*\hat \beta$ alternatif tahmin edicisinin sapmasız olduğu ispatlandıktan sonra varyansına geçilir.

Varyans, tanım gereği bir değişkenin kendi ortalamasından farklarının kareleri toplamı olduğundan, $\displaystyle Var - Cov\left( {{}^*\hat \beta } \right)$ matrisini elde etmek için kx1 boyutlu $\displaystyle \left( {{}^*\hat \beta - E\left( {{}^*\hat \beta } \right)} \right)$ matrisi “sağdan” (1xk boyutlu) transpozu ile çarpılarak beklenen değeri alınır.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {\left( {^*\hat \beta - E\left( {{}^*\hat \beta } \right)} \right){{\left( {{}^*\hat \beta - E\left( {{}^*\hat \beta } \right)} \right)}^\prime }} \right]$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {\left( {{}^*\hat \beta - \underbrace {E\left( {{}^*\hat \beta } \right)}_\beta } \right){{\left( {{}^*\hat \beta - \underbrace {E\left( {{}^*\hat \beta } \right)}_\beta } \right)}^\prime }} \right]$

3.14 no.lu denklem sisteminden hareketle $\displaystyle E\left( {{}^*\hat \beta } \right)$ yerine $\displaystyle \beta$ yazılır.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {\left( {{}^*\hat \beta - \beta } \right){{\left( {{}^*\hat \beta - \beta } \right)}^\prime }} \right]$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {\underbrace {\left( {{}^*\hat \beta - \beta } \right)}_{{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon + PX\beta + P\varepsilon }{{\underbrace {\left( {{}^*\hat \beta - \beta } \right)}_{{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon + PX\beta + P\varepsilon }}^\prime }} \right]$

3.12 no.lu denklem sisteminden hareketle $\displaystyle {}^*\hat \beta - \beta$ yerine $\displaystyle {\left( {X'X} \right)^{ - 1}}X'\varepsilon + PX\beta + P\varepsilon$ yazılır.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon + \underbrace {PX}_0\beta + P\varepsilon } \right){{\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon + \underbrace {PX}_0\beta + P\varepsilon } \right)}^\prime }} \right]$

$\displaystyle {}^*\hat \beta$ alternatif parametre tahmin edicilerinin sapmasız olması için $\displaystyle PX = 0$ varsayımının geçerli olması gerektiğinden ve etkinlik sapmasız tahmin ediciler arasında minimum varyansa sahip olan tahmin edici olduğundan, $\displaystyle PX = 0$ olduğu kabul edilir.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon + P\varepsilon } \right){{\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon + P\varepsilon } \right)}^\prime }} \right]$

3.2 no.lu nota göre parantez dışında yer alan transpoze parantez içine dağıtılır.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {\left( {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon + P\varepsilon } \right)\left( {\varepsilon 'X{{\left( {X'X} \right)}^{ - 1}} + \varepsilon 'P'} \right)} \right]$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = E\left[ {{{\left( {X'X} \right)}^{ - 1}}X'\varepsilon \varepsilon 'X{{\left( {X'X} \right)}^{ - 1}} + {{\left( {X'X} \right)}^{ - 1}}X'\varepsilon \varepsilon 'P' + P\varepsilon \varepsilon 'X{{\left( {X'X} \right)}^{ - 1}} + P\varepsilon \varepsilon 'P'} \right]$

Beklenen değer operatörü parantez içine dağıtılır.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = {\left( {X'X} \right)^{ - 1}}X'E\left( {\varepsilon \varepsilon '} \right)X{\left( {X'X} \right)^{ - 1}} + {\left( {X'X} \right)^{ - 1}}X'E\left( {\varepsilon \varepsilon '} \right)P' + PE\left( {\varepsilon \varepsilon '} \right)X{\left( {X'X} \right)^{ - 1}} + PE\left( {\varepsilon \varepsilon '} \right)P'$

X ve P matrisleri deterministik ve bu sebeple de birer sabit olduğu için beklenen değerleri kendisine eşit olduğundan yukarıda beklenen değer operatörü ile gösterilmemiştir.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = {\left( {X'X} \right)^{ - 1}}X'\underbrace {E\left( {\varepsilon \varepsilon '} \right)}_{\delta _\varepsilon ^2}X{\left( {X'X} \right)^{ - 1}} + {\left( {X'X} \right)^{ - 1}}X'\underbrace {E\left( {\varepsilon \varepsilon '} \right)}_{\delta _\varepsilon ^2}P' + P\underbrace {E\left( {\varepsilon \varepsilon '} \right)}_{\delta _\varepsilon ^2}X{\left( {X'X} \right)^{ - 1}} + P\underbrace {E\left( {\varepsilon \varepsilon '} \right)}_{\delta _\varepsilon ^2}P'$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = {\left( {X'X} \right)^{ - 1}}X'\delta _\varepsilon ^2X{\left( {X'X} \right)^{ - 1}} + {\left( {X'X} \right)^{ - 1}}X'\delta _\varepsilon ^2P' + P\delta _\varepsilon ^2X{\left( {X'X} \right)^{ - 1}} + P\delta _\varepsilon ^2P'$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = \delta _\varepsilon ^2{\left( {X'X} \right)^{ - 1}}X'X{\left( {X'X} \right)^{ - 1}} + \delta _\varepsilon ^2{\left( {X'X} \right)^{ - 1}}\underbrace {X'P'}_0 + \delta _\varepsilon ^2\underbrace {PX}_0{\left( {X'X} \right)^{ - 1}} + \delta _\varepsilon ^2PP'$

kxn boyutlu P matrisi ile nxk boyutlu X matrisinin çarpımı olan kxk boyutlu $\displaystyle PX = 0$ olduğu için onun devriğini temsil eden kxn boyutlu $\displaystyle X'$ matrisi ile nxk boyutlu $\displaystyle P'$ matrisinin çarpımı olan kxk boyutlu $\displaystyle X'P' = 0$ olur. Bu yüzden yukarıdaki denklem sisteminde $\displaystyle PX$ ve $\displaystyle X'P'$ ifadelerinin yerine sıfır yazılır.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = \delta _\varepsilon ^2\underbrace {{{\left( {X'X} \right)}^{ - 1}}X'X}_I{\left( {X'X} \right)^{ - 1}} + \delta _\varepsilon ^2PP'$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = \delta _\varepsilon ^2\underbrace I_1{\left( {X'X} \right)^{ - 1}} + \delta _\varepsilon ^2PP'$

I birim matrisi de 1 skalerine eşit olduğundan $\displaystyle {}^*\hat \beta$ alternatif tahmin edicilerinin varyansları ve kovaryansları elde edilir.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = \delta _\varepsilon ^2{\left( {X'X} \right)^{ - 1}} + \delta _\varepsilon ^2PP'$ (3.15)

$\displaystyle {}^*\hat \beta$ alternatif tahmin edicisinin varyansı 3.15 no.lu denklem sisteminde elde edilmiş oldu. Denklem sisteminin solunda yer alan ifadenin ise $\displaystyle \hat \beta$ tahmin edicisinin varyansı olduğu göz önüne alınırsa, $\displaystyle {}^*\hat \beta$ alternatif tahmin edicisinin varyansının $\displaystyle \hat \beta$ tahmin edicisinin varyansından büyük olduğu kolaylıkla fark edilebilir.

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = \underbrace {\delta _\varepsilon ^2{{\left( {X'X} \right)}^{ - 1}}}_{Var - Cov\left( {\hat \beta } \right)} + \delta _\varepsilon ^2PP'$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) = Var - Cov\left( {\hat \beta } \right) + \delta _\varepsilon ^2PP'$

$\displaystyle Var - Cov\left( {{}^*\hat \beta } \right) > Var - Cov\left( {\hat \beta } \right)$

O halde, doğrusal $\displaystyle \hat \beta$ tahmin edicisi gibi doğrusal $\displaystyle {}^*\hat \beta$ alternatif tahmin edicisi sapmasız olsa bile, $\displaystyle \hat \beta$ tahmin edicisinin varyansı, $\displaystyle {}^*\hat \beta$ alternatif tahmin edicisinin varyansından küçük olduğu için $\displaystyle \hat \beta$ tahmin edicisi “etkin” bir tahmin edicidir.

Yukarıdaki koşulda $\displaystyle \hat \beta$ parametre tahmin edicilerinin varyansı minimum varyansa sahip etkin tahmin edicilerdir. Bir tahmin edicinin minimum varyansa sahip etkin bir tahmin edici olabilmesi için aşağıdaki üç koşulu sağlaması gerekir.

Açıklayıcı değişkenlerin deterministik (gözlem değerlerinin) olması ( $\displaystyle X$ ),
Hata terimlerinin toplamının (yani beklenen değerinin) sıfır olması ( $\displaystyle E\left( \varepsilon \right) = 0$ ),
Hata teriminin varyansının sabit olması ( $\displaystyle \delta _\varepsilon ^2$ ).

4. Asimptotik Sapmasızlık

Asimptotik sapmasızlık büyük örneklem özelliğidir. Gözlem sayısı n sonsuza giderken $\displaystyle \hat \beta$ tahmin edicilerinin beklenen değerinin popülasyon parametreleri olan $\displaystyle \beta$ ifadelerine eşit olmasını temsil eder.

$\displaystyle \mathop {\lim }\limits_{n \to \infty } E\left( {\hat \beta } \right) = \beta$

Kolaylıkla fark edilebileceği gibi sapmasız tahmin ediciler aynı zamanda asimptotik olarak da sapmasızdırlar. Ancak sapmasız olmayan bir tahmin edici asimptotik olarak sapmasız olabilir. Diğer bir ifadeyle asimptotik olarak sapmasız tahmin ediciler daima sapmasız olmayabilir.

5. Tutarlılık

Büyük örneklem özelliklerden olan tutarlılık, gözlem sayısı n sonsuza giderken (asimptotik bakımdan) $\displaystyle \hat \beta$ tahmin edicilerinin popülasyon parametreleri olan $\displaystyle \beta$ ifadelerine eşit olmasını temsil eder.

$\displaystyle \mathop {\lim }\limits_{n \to \infty } \hat \beta = \beta$

Tutarlılık, yukarıdaki tanım gereği gözlem sayısı n sonsuza giderken $\displaystyle \hat \beta$ tahmin edicilerinin varyansının sıfıra yaklaşmasını/eşit olmasını ifade eder.

Bir tahmin edicinin tutarlı olabilmesi için aşağıdaki iki koşulu sağlaması gerekir.

Gözlem sayısı n sonsuza giderken tahmin edicinin varyansının sıfır olması ( $\displaystyle \mathop {\lim }\limits_{n \to \infty } Var\left( {\hat \beta } \right) = 0$ ),
Tahmin edicinin (sapmasız olmasa da en azından) asimptotik olarak sapmasız olması ( $\displaystyle \mathop {\lim }\limits_{n \to \infty } E\left( {\hat \beta } \right) = \beta$ ),

6. Asimptotik Etkinlik

Büyük örneklem özelliklerinden olan asimptotik etkinlik, $\displaystyle \hat \beta$ tahmin edicilerinin sonlu bir beklenen değeri ve varyansı olmak üzere, gözlem sayısı n sonsuza giderken tutarlı tahmin ediciler arasından minimum varyansa sahip tahmin ediciler olarak tanımlanabilir.

$\displaystyle \mathop {\lim }\limits_{n \to \infty } \hat \beta = \beta$ ve $\displaystyle \mathop {\lim }\limits_{n \to \infty } {}^*\hat \beta = \beta$ olmak üzere,

$\displaystyle \mathop {\lim }\limits_{n \to \infty } Var\left( {\hat \beta } \right) < \mathop {\lim }\limits_{n \to \infty } Var\left( {{}^*\hat \beta } \right)$ ise $\displaystyle \hat \beta$ tahmin edicileri asimptotik olarak etkin birer tahmin edicidir.

İshak Kutlu, Ekonometri Notları

Matris Cebiri ile Tahmin Edicilerde Aranan Özellikler

1. Doğrusallık

2. Sapmasızlık

3. Parametre Varyansları ve Kovaryansları ile Hata Teriminin Varyansı, Minimum Varyans ve Etkinlik

Parametre Varyansları ve Kovaryansları

Hata Teriminin Varyansı

Minimum Varyans ve Etkinlik

4. Asimptotik Sapmasızlık

5. Tutarlılık

6. Asimptotik Etkinlik

Yorum Yap

Yanıtı İptal Et

İshak Kutlu