Matris Cebiri ile En Küçük Kareler Yöntemi

1. En Küçük Kareler Tahmin Edicisinin Matris Yöntemiyle Elde Edilmesi

En küçük kareler veya sıradan en küçük kareler yöntemi (EKK, SEK veya OLS, ordinary least squares) doğrusal bir modelin parametrelerini ( $\displaystyle \beta$ katsayılarını) tahmin etmede (parametre tahmin edicilerini elde etmede) kullanılan yaygın bir yöntemdir.

$\displaystyle {\beta _0}$ , $\displaystyle {\beta _1}$ gibi $\displaystyle \beta$ parametrelerinin tahmin edicisi popülasyona aitse $\displaystyle {\beta _0}$ , $\displaystyle {\beta _1}$ olarak, örnekleme aitse $\displaystyle {\hat \beta _0}$ , $\displaystyle {\hat \beta _1}$ olarak ifade edilir. Parametre tahmin edicilerini elde etme/hesaplama aşamasında popülasyon verilerine ulaşmak genellikle mümkün değildir veya çok zordur. Bu sebeple parametre tahmin edicileri genellikle örnekleme dayanılarak elde edilir/hesaplanır. Bununla birlikte popülasyona ait parametre tahmin edicilerinin elde edilme yöntemi ile örnekleme ait parametre tahmin edicilerinin elde edilme yönteminde matematiksel bakımdan herhangi bir farklılık yoktur. Bu sebeple parametre tahmin edicilerini temsil etmede kullanılan $\displaystyle {\beta _0}$ ve $\displaystyle {\beta _1}$ ifadeleri yerine, $\displaystyle {\hat \beta _0}$ ve $\displaystyle {\hat \beta _1}$ ifadeleri de kullanılabilir. Aksi belirtilmedikçe, $\displaystyle {\beta _0}$ ve $\displaystyle {\beta _1}$ ifadeleri ile $\displaystyle {\hat \beta _0}$ ve $\displaystyle {\hat \beta _1}$ ifadeleri birbirinin yerine kullanılabilir.

EKK’da temel amaç, modelin hata terimlerinin kareleri toplamını minimize etmek yoluyla $\displaystyle \beta$ katsayılarını tahmin etmektir.

Aşağıdaki gibi bir genel doğrusal model olsun.

$\displaystyle {Y_i} = {\beta _0} + {\beta _1}{X_{1i}} + {\beta _2}{X_{2i}} + {\beta _3}{X_{3i}}. + ... + {\beta _{k - 1}}{X_{\left( {k - 1} \right)i}} + {\varepsilon _i}$

Yukarıdaki modelde “i” gözlem sırasını, k modelde bulunan parametre sayısını ve “n” gözlem sayısını temsil etmektedir. Modelde bir sabit olduğu ve sabit de $\displaystyle {\beta _0}$ ile ifade edildiği ve modelde k adet parametre olduğu varsayıldığı için son parametre $\displaystyle {\beta _k}$ yerine $\displaystyle {\beta _{k - 1}}$ ile ifade edilmiştir. Modelde bulunan sabit $\displaystyle {\beta _0}$ yerine $\displaystyle {\beta _1}$ ile ifade edilseydi, modelde k adet parametre olduğu varsayıldığı için son parametre $\displaystyle {\beta _{k - 1}}$ yerine $\displaystyle {\beta _k}$ ile ifade edilirdi. Yukarıdaki modelin matris formunda ifade edilebilmesi için model 1’den “n” gözlem sayısına kadar genişletilir.

$\displaystyle {Y_i} = {\beta _0} + {\beta _1}{X_{1i}} + {\beta _2}{X_{2i}} + {\beta _3}{X_{3i}}. + ... + {\beta _{k - 1}}{X_{\left( {k - 1} \right)i}} + {\varepsilon _i}$

$\displaystyle {Y_1} = {\beta _0} + {\beta _1}{X_{11}} + {\beta _2}{X_{21}} + {\beta _3}{X_{31}}. + ... + {\beta _{k - 1}}{X_{\left( {k - 1} \right)1}} + {\varepsilon _1}$

$\displaystyle {Y_2} = {\beta _0} + {\beta _1}{X_{12}} + {\beta _2}{X_{22}} + {\beta _3}{X_{32}}. + ... + {\beta _{k - 1}}{X_{\left( {k - 1} \right)2}} + {\varepsilon _2}$

$\displaystyle {Y_3} = {\beta _0} + {\beta _1}{X_{13}} + {\beta _2}{X_{23}} + {\beta _3}{X_{33}}. + ... + {\beta _{k - 1}}{X_{\left( {k - 1} \right)3}} + {\varepsilon _3}$

$\displaystyle \vdots$

$\displaystyle {Y_n} = {\beta _0} + {\beta _1}{X_{1n}} + {\beta _2}{X_{2n}} + {\beta _3}{X_{3n}}. + ... + {\beta _{k - 1}}{X_{\left( {k - 1} \right)n}} + {\varepsilon _n}$

Yukarıdaki denklem sistemi aşağıdaki şekilde matris formunda ifade edilir.

$\displaystyle \mathop {\left[ {\begin{array}{*{20}{c}} {{Y_1}} \\ {{Y_2}} \\ {{Y_3}} \\ {{Y_4}} \\ \vdots \\ {{Y_n}} \end{array}} \right]}\nolimits_{nx1} = \mathop {\left[ \begin{gathered} \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{11}}} \end{array}}&{{X_{21}}} \end{array}}&{{X_{31}}} \end{array}}& \ldots \end{array}}&{{X_{\left( {k - 1} \right)1}}} \end{array} \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{12}}} \end{array}}&{{X_{22}}}&{{X_{32}}}& \ldots &{{X_{\left( {k - 1} \right)2}}} \end{array} \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{13}}} \end{array}}&{{X_{23}}}&{{X_{33}}} \end{array}}& \ldots &{{X_{\left( {k - 1} \right)3}}} \end{array} \hfill \\ \vdots \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{1n}}} \end{array}}&{{X_{2n}}}&{{X_{3n}}} \end{array}}& \ldots &{{X_{\left( {k - 1} \right)n}}} \end{array} \hfill \\ \end{gathered} \right]}\nolimits_{nxk} \mathop {\left[ {\begin{array}{*{20}{c}} {{\beta _0}} \\ {{\beta _1}} \\ {{\beta _2}} \\ {{\beta _3}} \\ \vdots \\ {{\beta _{k - 1}}} \end{array}} \right]}\nolimits_{kx1} + \mathop {\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}} \\ {{\varepsilon _2}} \\ {{\varepsilon _3}} \\ {{\varepsilon _4}} \\ \vdots \\ {{\varepsilon _n}} \end{array}} \right]}\nolimits_{nx1}$

$\displaystyle Y$ , $\displaystyle X$ , $\displaystyle \beta$ ve $\displaystyle \varepsilon$ ifadeleri birer matrisi temsil etmek üzere, yukarıdaki denklem sistemi aşağıdaki şekilde ifade edilir.

$\displaystyle Y = X\beta + \varepsilon$ (1.1)

Yukarıdaki modelde hata terimlerini temsil eden $\displaystyle \varepsilon$ matrisi yalnız bırakılır.

$\displaystyle \varepsilon = Y - X\beta$

Matris cebirinde eşitliğin her iki tarafının da karesinin alınması için ( $\displaystyle \varepsilon$ matrisinin nx1 boyutlarında bir sütun vektörü olduğu varsayımı altında), her iki taraf da soldan kendi transpozu (devriği, trasnpose) ile çarpılır.

$\displaystyle \varepsilon '\varepsilon = {\left( {Y - X\beta } \right)^\prime }\left( {Y - X\beta } \right)$ (1.2)

Not 1.1: Bir matrisin transpozunu (devriğini) almak, o matrisin satırlarının sütun, sütunlarının da satır biçiminde ifade edilmesi anlamına gelir.

A ve B birer matris olmak üzere, A ve B matrislerinde AB biçiminde çarpma işlemi yapmak için soldaki ifadenin (A’nın) sütun sayısı sağdaki ifadenin (B’nin) satır sayısına eşit olmalıdır. Yeni matrisin boyutu da birinci matrisin (A’nın) satır sayısı ile ikinci matrisin (B’nin) sütun sayısına eşit olacaktır.

$\displaystyle A = {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]_{pxm}}$ ve $\displaystyle B = {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]_{mxk}}$ olmak üzere, $\displaystyle AB = {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]_{pxk}}$ boyutlarında bir matris elde edilir.

$\displaystyle \varepsilon$ matrisinin nx1 boyutlarında bir sütun vektörü olduğu varsayımı altında, eşitliğin her iki tarafının da soldan transpozu ile çarpılması sonucu, $\displaystyle \varepsilon '\varepsilon$ ifadesi 1×1 boyutlu bir skaler (yani c gibi bir) değeri olan hata terimlerinin kareleri toplamını verecektir.

$\displaystyle \varepsilon '\varepsilon = {\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}} \\ {{\varepsilon _2}} \\ {{\varepsilon _3}} \\ {{\varepsilon _4}} \\ \vdots \\ {{\varepsilon _n}} \end{array}} \right]^\prime }\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}} \\ {{\varepsilon _2}} \\ {{\varepsilon _3}} \\ {{\varepsilon _4}} \\ \vdots \\ {{\varepsilon _n}} \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}}&{{\varepsilon _2}}&{{\varepsilon _3}}&{{\varepsilon _4}}& \ldots &{{\varepsilon _n}} \end{array}} \right]_{1xn}}{\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}} \\ {{\varepsilon _2}} \\ {{\varepsilon _3}} \\ {{\varepsilon _4}} \\ \vdots \\ {{\varepsilon _n}} \end{array}} \right]_{nx1}}$

$\displaystyle \varepsilon '\varepsilon = \varepsilon _1^2 + \varepsilon _2^2 + \varepsilon _3^2 + \varepsilon _4^2 + \ldots + \varepsilon _n^2 = \sum\limits_{i = 1}^n {\varepsilon _i^2} = \sum\limits_{i = 1}^n {{{\left( {\varepsilon {}_i} \right)}^2}}$

Yukarıdaki denklem sisteminde, matris cebirinde eşitliğin her iki tarafının da karesinin alınması için ( $\displaystyle \varepsilon$ matrisinin 1xn boyutlarında bir satır vektörü olduğu varsayımı altında), her iki taraf da sağdan kendi transpozu (devriği, trasnpose) ile de çarpılabilir. Matris cebirinde çarpma işlemi bakımından değerlendirilecek olursa, önemli olan eşitliğin solunda transpoze nereden ekleniyorsa, sağında da aynı yerden eklenmelidir.

$\displaystyle \mathop {\left[ {\begin{array}{*{20}{c}} {{Y_1}} \\ {{Y_2}} \\ {{Y_3}} \\ {{Y_4}} \\ \vdots \\ {{Y_n}} \end{array}} \right]}\nolimits_{nx1} = \mathop {\left[ \begin{gathered} \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{11}}} \end{array}}&{{X_{21}}} \end{array}}&{{X_{31}}} \end{array}}& \ldots \end{array}}&{{X_{\left( {k - 1} \right)1}}} \end{array} \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{12}}} \end{array}}&{{X_{22}}}&{{X_{32}}}& \ldots &{{X_{\left( {k - 1} \right)2}}} \end{array} \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{13}}} \end{array}}&{{X_{23}}}&{{X_{33}}} \end{array}}& \ldots &{{X_{\left( {k - 1} \right)3}}} \end{array} \hfill \\ \vdots \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{1n}}} \end{array}}&{{X_{2n}}}&{{X_{3n}}} \end{array}}& \ldots &{{X_{\left( {k - 1} \right)n}}} \end{array} \hfill \\ \end{gathered} \right]}\nolimits_{nxk} \mathop {\left[ {\begin{array}{*{20}{c}} {{\beta _0}} \\ {{\beta _1}} \\ {{\beta _2}} \\ {{\beta _3}} \\ \vdots \\ {{\beta _{k - 1}}} \end{array}} \right]}\nolimits_{kx1} + \mathop {\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}}&{{\varepsilon _2}}&{{\varepsilon _3}}&{{\varepsilon _4}}& \ldots &{{\varepsilon _n}} \end{array}} \right]}\nolimits_{nx1}$

$\displaystyle \varepsilon \varepsilon ' = \left( {Y - X\beta } \right){\left( {Y - X\beta } \right)^\prime }$

$\displaystyle \varepsilon$ matrisinin 1xn boyutlarında bir satır vektörü olduğu varsayımı altında, eşitliğin her iki tarafının da sağdan transpozu ile çarpılması sonucu, $\displaystyle \varepsilon \varepsilon '$ ifadesi de ( $\displaystyle \varepsilon '\varepsilon$ ifadesinde olduğu gibi) 1×1 boyutlu bir skaler (yani c gibi bir) değeri olan hata terimlerinin kareleri toplamını verecektir.

$\displaystyle \varepsilon \varepsilon ' = \left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}}&{{\varepsilon _2}}&{{\varepsilon _3}}&{{\varepsilon _4}}& \ldots &{{\varepsilon _n}} \end{array}} \right]{\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}}&{{\varepsilon _2}}&{{\varepsilon _3}}&{{\varepsilon _4}}& \ldots &{{\varepsilon _n}} \end{array}} \right]^\prime }$

$\displaystyle \varepsilon \varepsilon ' = {\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}}&{{\varepsilon _2}}&{{\varepsilon _3}}&{{\varepsilon _4}}& \ldots &{{\varepsilon _n}} \end{array}} \right]_{1xn}}{\left[ {\begin{array}{*{20}{c}} {{\varepsilon _1}} \\ {{\varepsilon _2}} \\ {{\varepsilon _3}} \\ {{\varepsilon _4}} \\ \vdots \\ {{\varepsilon _n}} \end{array}} \right]_{nx1}}$

$\displaystyle \varepsilon$ matrisinin nx1 boyutlarında bir sütun vektörü olduğu varsayımı altında, eşitliğin her iki tarafının da karesinin alınması amacıyla her iki tarafın da soldan kendi transpozu ile çarpıldığı kabul edilmiş olup yukarıdaki 1.2 no.lu denklemden devam edilecektir.

$\displaystyle \varepsilon '\varepsilon = {\left( {Y - X\beta } \right)^\prime }\left( {Y - X\beta } \right)$

Not 1.2: A, B ve C birer matrisi temsil etmek üzere, matrislerde transpoze işlemi aşağıdaki gibi tanımlıdır.

$\displaystyle {\left( {AB} \right)^\prime } = B'A'$

$\displaystyle A'BC = C'B'A$

$\displaystyle {\left( {C + AB} \right)^\prime } = \left( {C' + B'A'} \right)$

1.2 no.lu nota göre yukarıdaki denklem sistemi, transpozunun alınması sonrası aşağıdaki şekilde düzenlenir.

$\displaystyle \varepsilon '\varepsilon = \left( {Y' - \beta 'X'} \right)\left( {Y - X\beta } \right)$

Eşitliğin sağında yer alan ifade açılır.

$\displaystyle \varepsilon '\varepsilon = Y'Y - Y'X\beta - \beta 'X'Y + \beta 'X'X\beta$

1.2 no.lu nota göre yukarıdaki denklem sisteminde $\displaystyle Y'X\beta$ ifadesi ile $\displaystyle \beta 'X'Y$ ifadesi birbirine eşittir. Bu iki ifadenin toplamı $\displaystyle 2Y'X\beta$ olarak ifade edilebileceği gibi $\displaystyle 2\beta 'X'Y$ olarak da ifade edilebilir.

$\displaystyle \varepsilon '\varepsilon = Y'Y - \underbrace {\left( {Y'X\beta + \beta 'X'Y} \right)}_{2\beta 'X'Y} + \beta 'X'X\beta$

$\displaystyle \varepsilon '\varepsilon = Y'Y - 2\beta 'X'Y + \beta 'X'X\beta$

Yukarıdaki denklem sisteminde yer alan $\displaystyle \beta 'X'X\beta$ ifadesi içindeki $\displaystyle X'X$ ifadesinin sonucu, 1.1 no.lu nota göre kxk boyutlarında bir kare matris olduğu için bir determinanta sahiptir. Ayrıca X değişkenlerinin gözlemlenebilen sayısal değerleri olduğundan $\displaystyle X'X$ ifadesi p gibi bir sabite eşit olacaktır.

$\displaystyle X'X = {\left[ {\begin{array}{*{20}{c}} 1&1&1&1& \ldots &1 \\ {{X_{11}}}&{{X_{12}}}&{{X_{13}}}&{{X_{14}}}& \ldots &{{X_{1n}}} \\ {{X_{21}}}&{{X_{22}}}&{{X_{23}}}&{{X_{24}}}& \ldots &{{X_{2n}}} \\ \vdots &{}&{}&{}&{}&{} \\ {{X_{\left( {k - 1} \right)1}}}&{{X_{\left( {k - 1} \right)2}}}&{{X_{\left( {k - 1} \right)3}}}&{{X_{\left( {k - 1} \right)4}}}& \ldots &{{X_{\left( {k - 1} \right)n}}} \end{array}} \right]_{kxn}}{\left[ \begin{gathered} \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{11}}} \end{array}}&{{X_{21}}} \end{array}}&{{X_{31}}} \end{array}}& \ldots \end{array}}&{{X_{\left( {k - 1} \right)1}}} \end{array} \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{12}}} \end{array}}&{{X_{22}}}&{{X_{32}}}& \ldots &{{X_{\left( {k - 1} \right)2}}} \end{array} \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{13}}} \end{array}}&{{X_{23}}}&{{X_{33}}} \end{array}}& \ldots &{{X_{\left( {k - 1} \right)3}}} \end{array} \hfill \\ \vdots \hfill \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{{X_{1n}}} \end{array}}&{{X_{2n}}}&{{X_{3n}}} \end{array}}& \ldots &{{X_{\left( {k - 1} \right)n}}} \end{array} \hfill \\ \end{gathered} \right]_{nxk}}$

$\displaystyle X'X = {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]_{kxk}} = p$

$\displaystyle \varepsilon '\varepsilon = Y'Y - 2\beta 'X'Y + \beta 'p\beta$

Not 1.3: A ve B birer matrisi, c ise bir sabiti temsil etmek üzere,

$\displaystyle AcB = ABc = cAB$ olarak ifade edilebilir.

1.3 no.lu nota göre yukarıdaki denklem sistemi aşağıdaki gibi tekrar düzenlenir.

$\displaystyle \varepsilon '\varepsilon = Y'Y - 2\beta 'X'Y + p\beta '\beta$ (1.3)

Yukarıdaki denklem sisteminde hata terimlerinin karelerinin toplamı elde edilmişti. Hata terimlerinin karelerinin toplamını minimize etmek için $\displaystyle \beta$ parametrelerine göre ayrı ayrı kısmi türev alınarak 0’a (sıfıra) eşitlenir. Ancak denklem sisteminin $\displaystyle \beta$ parametrelerine göre kısmi türevlerini almadan önce, aşağıdaki açıklamalar türev aşamalarının daha iyi analiz edilmesine yardımcı olacaktır.

1.2 no.lu yukarıdaki denklem sisteminde yer alan $\displaystyle p\beta '\beta$ ifadesi içindeki $\displaystyle \beta '\beta$ ifadesinin sonucu, 1.1 no.lu nota göre 1×1 boyutunda bir skalere eşit olacaktır.

$\displaystyle \beta '\beta = {\left[ {\begin{array}{*{20}{c}} {{\beta _0}} \\ {{\beta _1}} \\ {{\beta _2}} \\ {{\beta _3}} \\ \vdots \\ {{\beta _{k - 1}}} \end{array}} \right]^\prime }\left[ {\begin{array}{*{20}{c}} {{\beta _0}} \\ {{\beta _1}} \\ {{\beta _2}} \\ {{\beta _3}} \\ \vdots \\ {{\beta _{k - 1}}} \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{\beta _0}}&{{\beta _1}}&{{\beta _2}}&{{\beta _3}}& \ldots &{{\beta _{k - 1}}} \end{array}} \right]_{1xk}}{\left[ {\begin{array}{*{20}{c}} {{\beta _0}} \\ {{\beta _1}} \\ {{\beta _2}} \\ {{\beta _3}} \\ \vdots \\ {{\beta _{k - 1}}} \end{array}} \right]_{kx1}}$

$\displaystyle \beta '\beta = \beta _0^2 + \beta _1^2 + \beta _2^2 + \beta _3^2 + \ldots + \beta _{k - 1}^2 = \sum\limits_{i = 0}^{k - 1} {\beta _i^2} = \sum\limits_{i = 0}^{k - 1} {{{\left( {\beta {}_i} \right)}^2}}$ (1.4)

1.4 no.lu ifadenin $\displaystyle {\beta _0}$ ifadesine göre kısmi türevi,

$\displaystyle \frac{{\partial \beta '\beta }}{{\partial {\beta _0}}} = \frac{{\partial \sum\limits_{i = 0}^{k - 1} {\beta _i^2} }}{{\partial {\beta _0}}} = 2{\beta _0}$

1.4 no.lu ifadenin $\displaystyle {\beta _1}$ ifadesine göre kısmi türevi,

$\displaystyle \frac{{\partial \beta '\beta }}{{\partial {\beta _1}}} = \frac{{\partial \sum\limits_{i = 0}^{k - 1} {\beta _i^2} }}{{\partial {\beta _1}}} = 2{\beta _1}$

1.4 no.lu ifadenin $\displaystyle {\beta _2}$ ifadesine göre kısmi türevi,

$\displaystyle \frac{{\partial \beta '\beta }}{{\partial {\beta _2}}} = \frac{{\partial \sum\limits_{i = 0}^{k - 1} {\beta _i^2} }}{{\partial {\beta _2}}} = 2{\beta _2}$

$\displaystyle \vdots$

1.4 no.lu ifadenin $\displaystyle {\beta _{k - 1}}$ ifadesine göre kısmi türevi,

$\displaystyle \frac{{\partial \beta '\beta }}{{\partial {\beta _{k - 1}}}} = \frac{{\partial \sum\limits_{i = 0}^{k - 1} {\beta _i^2} }}{{\partial {\beta _{k - 1}}}} = 2{\beta _{k - 1}}$

1.4 no.lu ifadenin $\displaystyle \beta$ parametrelerine göre kısmi türevi,

$\displaystyle \frac{{\partial \beta '\beta }}{{\partial \beta }} = \frac{{\partial \sum\limits_{i = 0}^{k - 1} {\beta _i^2} }}{{\partial \beta }} = 2{\beta _0} + 2{\beta _1} + 2{\beta _2} + 2{\beta _3} + \ldots + 2{\beta _{k - 1}}$

$\displaystyle \frac{{\partial \beta '\beta }}{{\partial \beta }} = \frac{{\partial \sum\limits_{i = 0}^{k - 1} {\beta _i^2} }}{{\partial \beta }} = 2\left( {{\beta _0} + {\beta _1} + {\beta _2} + {\beta _3} + \ldots + {\beta _{k - 1}}} \right)$

O halde 1.4 no.lu denklemden hareketle matris formunda, $\displaystyle \beta$ matrisinin sütun vektörü olduğu varsayımı altında, $\displaystyle \beta '\beta$ ifadesinin türevi aşağıda gösterildiği gibi olacaktır.

$\displaystyle \frac{{\partial \beta '\beta }}{{\partial \beta }} = 2\left[ {\begin{array}{*{20}{c}} {{\beta _0}} \\ {{\beta _1}} \\ {{\beta _2}} \\ {{\beta _3}} \\ \vdots \\ {{\beta _{k - 1}}} \end{array}} \right] = 2\beta$

$\displaystyle \beta '\beta$ ifadesinin kısmi türevine ilişkin açıklamalardan sonra yukarıdaki 1.3 no.lu denklem sisteminden devam edilir.

$\displaystyle \varepsilon '\varepsilon = Y'Y - 2\beta 'X'Y + p\beta '\beta$

$\displaystyle \frac{{\partial \varepsilon '\varepsilon }}{{\partial \beta }} = - 2X'Y + 2p\beta = 0$

Yukarıdaki denklem sistemi aşağıdaki şekilde düzenlenir.

$\displaystyle 2p\beta = 2X'Y$

$\displaystyle \cancel{2}p\beta = \cancel{2}X'Y$

$\displaystyle p\beta = X'Y$

$\displaystyle p = X'X$ olduğundan yukarıdaki denklem sistemde yerine yazılır.

$\displaystyle X'X\beta = X'Y$

$\displaystyle \beta$ parametrelerinin tahmin edicisi $\displaystyle \beta$ sütun vektörünü elde etmek amacıyla, $\displaystyle \beta$ matrisinin yalnız bırakılması gerekir. Bu amaçla yukarıdaki denklem sisteminin her iki tarafı da soldan, $\displaystyle X'X$ ifadesinin tersini temsil eden $\displaystyle {\left( {X'X} \right)^{ - 1}}$ ifadesi ile çarpılır.

$\displaystyle {\left( {X'X} \right)^{ - 1}}X'X\beta = {\left( {X'X} \right)^{ - 1}}X'Y$

Bir matrisi, kendi tersi ile çarpmak birim matrisi verdiğinden ve birim matrisin determinantı da 1 olduğundan, $\displaystyle {\left( {X'X} \right)^{ - 1}}X'X = I = 1$ yoluyla $\displaystyle \beta$ sütun vektörü yalnız bırakılmış olur.

$\displaystyle \underbrace {{{\left( {X'X} \right)}^{ - 1}}X'X}_I\beta = {\left( {X'X} \right)^{ - 1}}X'Y$

$\displaystyle \underbrace I_1\beta = {\left( {X'X} \right)^{ - 1}}X'Y$

$\displaystyle \beta = {\left( {X'X} \right)^{ - 1}}X'Y$ (1.5)

Not 1.4: $\displaystyle {\left( {X'X} \right)^{ - 1}}X'Y$ ifadesi kx1 boyutlu bir sütun vektörüne eşittir.

$\displaystyle {\left( {X'X} \right)^{ - 1}} = {\left( {{{\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{X'}}_{kxn}}{{\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^X}_{nxk}}} \right)^{ - 1}} = {\left( {{{\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{X'X}}_{kxk}}} \right)^{ - 1}} = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{{{\left( {X'X} \right)}^{ - 1}}}_{kxk}}$

$\displaystyle {\left( {X'X} \right)^{ - 1}}X' = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{{{\left( {X'X} \right)}^{ - 1}}}_{kxk}}{\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{X'}_{kxn}} = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{{{\left( {X'X} \right)}^{ - 1}}X'}_{kxn}}$

$\displaystyle {\left( {X'X} \right)^{ - 1}}X'Y = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{{{\left( {X'X} \right)}^{ - 1}}X'}_{kxn}}{\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^Y_{nx1}} = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{{{\left( {X'X} \right)}^{ - 1}}X'Y}_{kx1}}$

Ayrıca yukarıda gösterildiği üzere $\displaystyle {\left( {X'X} \right)^{ - 1}}X'Y$ ifadesi kx1 boyutlu bir sütun vektörüne eşit olduğu gibi $\displaystyle {\left( {X'X} \right)^{ - 1}}X'Y$ ifadesinin transpozu olan $\displaystyle Y'X{\left( {X'X} \right)^{ - 1}}$ ifadesi de 1xk boyutlu bir satır vektörüne eşittir.

$\displaystyle Y'X = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{Y'}_{1xn}}{\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^X_{nxk}} = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{Y'X}_{1xk}}$

$\displaystyle Y'X{\left( {X'X} \right)^{ - 1}} = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{Y'X}_{1xk}}{\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{{{\left( {X'X} \right)}^{ - 1}}}_{kxk}} = {\overbrace {\left[ {\begin{array}{*{20}{c}} {}&{} \\ {}&{} \end{array}} \right]}^{Y'X{{\left( {X'X} \right)}^{ - 1}}}_{1xk}}$

Bu durumda $\displaystyle {\left( {X'X} \right)^{ - 1}}X'Y$ ifadesi kx1 boyutlu bir sütun vektörüne eşit olduğundan aynı ifadenin (1xk boyutlu) satır vektörüne karşılık gelen transpozu da kendisine eşit olacaktır.

$\displaystyle {\left( {X'X} \right)^{ - 1}}X'Y = Y'X{\left( {X'X} \right)^{ - 1}}$

1.2 no.lu nota göre,

$\displaystyle {\left( {X'X} \right)^{ - 1}}X'Y = {\left( {{{\left( {X'X} \right)}^{ - 1}}X'Y} \right)^\prime } = Y'X{\left( {X'X} \right)^{ - 1}}$ olur.

Yukarıdaki 1.4 no.lu nota göre parametre tahmin edicisini temsil eden $\displaystyle \beta$ sütun vektörü satır vektörü olarak aşağıdaki şekilde de elde edilebilir.

$\displaystyle \beta = Y'X{\left( {X'X} \right)^{ - 1}}$ (1.6)

Matris yöntemiyle en küçük kareler tahmin edicisinin elde edilmesi aşağıdaki gibi özetlenebilir.

$\displaystyle Y = X\beta + \varepsilon$

$\displaystyle \varepsilon = Y - X\beta$

$\displaystyle \varepsilon '\varepsilon = {\left( {Y - X\beta } \right)^\prime }\left( {Y - X\beta } \right)$

$\displaystyle \varepsilon '\varepsilon = Y'Y - Y'X\beta - \beta 'X'Y + \beta 'X'X\beta$

$\displaystyle \varepsilon '\varepsilon = Y'Y - 2\beta 'X'Y + \beta 'X'X\beta$

$\displaystyle \varepsilon '\varepsilon = Y'Y - 2\beta 'X'Y + X'X\beta '\beta$

$\displaystyle \frac{{\partial \varepsilon '\varepsilon }}{{\partial \beta }} = - 2X'Y + 2X'X\beta = 0$

$\displaystyle 2X'X\beta = 2X'Y$

$\displaystyle X'X\beta = X'Y$

$\displaystyle {\left( {X'X} \right)^{ - 1}}X'X\beta = {\left( {X'X} \right)^{ - 1}}X'Y$

$\displaystyle \underbrace {{{\left( {X'X} \right)}^{ - 1}}X'X}_I\beta = {\left( {X'X} \right)^{ - 1}}X'Y$

$\displaystyle \beta = {\left( {X'X} \right)^{ - 1}}X'Y$

İshak Kutlu, Ekonometri Notları

Yanıtı İptal Et

Meltem dedi ki:
25/11/2023, 12:46
Kısmi türev ve matris içerikli bir ispat denklemini çözerken zorlandığımdan dolayı yazılarınızdan çokça faydalandım. Anlattığınız şekilde adımları uygulamama rağmen sonuca ulaşamadığım için mail üzerinden size ulaştım. Aslında biraz da çekinerek mail atmıştım ama en kısa sürede içtenliğinizle ve samimiyetinizle mailime dönüp sorularıma cevap verdiğiniz için çok teşekkür ederim. Gerçekten çok net, açıklayıcı ve öğretici bilgiler verdiniz. Sayenizde hatamın nerde olduğunu buldum. Emeğinize sağlık.
Yanıtla
- İshak Kutlu dedi ki:
  27/11/2023, 19:54
  Rica ederim. Bana ulaşan e-postalara mümkün olduğu kadar kısa sürede geri dönüş yapmaya çalışıyorum. Ayrıca araştırma gayretinizi ve azminizi tebrik ederim. Umarım el yazımı okumakta zorluk yaşamamışsınızdır. Geri bildiriminiz için teşekkürler.
  Yanıtla

1. En Küçük Kareler Tahmin Edicisinin Matris Yöntemiyle Elde Edilmesi

2 Yorum

Yanıtı İptal Et

İshak Kutlu