PLS_KISMİ EN KÜÇÜK K. REGRESYONU

- Mart 04, 2021

Regresyon (KEkR) yapılacak verilerin;

1. çok sayıda açıklayıcı faktöre (bağımsız değişken, X) sahip olması,

2. gözlem sayısının bağımsız değişken sayısından daha az olması (n<X),

3. bağımsız değişkenler (X) arasında yüksek çoklu doğrusal bağlantının varlığı,

gibi durumlar, regresyon analizinin en küçük kareler yöntemi varsayımlarını ihlal etmektedir. Kısmi en küçük kareler regresyonu (KEkR), bu durumlarda regresyon analizi yapmaya olanak sağlayan bir tekniktir. Teknik, ana bileşen analizi ile çoklu regresyonun bileşimidir. Çoklu doğrusal regresyon pek çok değişkenle kullanılabilir. Ancak faktör sayısı çok artarsa (örneğin, gözlem sayısından daha fazla), örneklenen verilere mükemmel bir şekilde uyan (yani R² 1 e yakın) ancak yeni verileri iyi tahmin edemeyen bir model elde etme olasılığınız yüksektir. Bu duruma aşırı uyum denmektedir. Bu durumda bir çözüm X değerlerini ana bileşen analizi (PCA) yapıp elde dilen ana bileşenlerle Y arasında çoklu regresyon yapmaktır. Ancak bu durumda bütün X değişkenleri kullanıldığından X’in sayısında azalma olmuyor, ayrıca ana bileşenler X’deki varyasyonu açıkladığından Y ile ilgili bir yönü olmamaktadır. Bunun aksine, KEk regresyonu X'ten Y için de alakalı olan bileşenleri bulur. Daha Özel olarak, ABA regresyonu, X ve Y'nin eşzamanlı ayrışmasını gerçekleştiren bir dizi bileşeni (gizli vektörler olarak adlandırılır) arar ki bu bileşenler X ve Y arasındaki kovaryans’ı mümkün olduğunca açıklar.

KISMİ en küçük kareler REGRESYONU: NIPALS ALGORİTMASI:

NIPALS (doğrusal olmayan döngüsel kısmi en küçük regresyon matriks şekilsel gösterim

Algoritma:

X ve Y verileri

1. Y-skor u1 = y ile başla,Y’nin bir sütunudur. Y tek bir sütunsa, u1 = y.

Belli bir kriter tamamlanıncaya kadar aşağıdaki döngüyü sürdür.

21. X-tartı vektörü w’yi hesapla: w = X^T u/u^T u ,ve norm yap;

22. t, X skorlarını hesapla: t = Xw;

23. c, Y-tartısını hesapla: c = Y^T t/t^T t ;

24. Y skorlarını yenile: u = Yc/c^Tc ;

25, kriteri kontrol et.

Döngüyü sürdür

3. p, X-yüklemelerini (loadings) hesapla: p = t^TX/t^T t .

4. t, değerlerini hem X hem de Y den çıkar ve yeni X ve Y verisi elde et

X_yeni = X_eski − tp and Y_yeni = Y_eski− tc.

5. diğer faktör için başa dön

6. X^TX=0 olunca bitir.

7.regresyon katsayıları b=C^TW(WP^T)^-1 c ile bulunur

Kek regresyonu yapan program Excel vba ile yazılmıştır. Bu makro ile verilerle (Herve Abdi, https://personal.utdallas.edu/~herve/Abdi-PLS-pretty.pdf ) yapılan KEk regresyon sonuçları aşağıdadır. Sonuçlar, ilgili yayında verilenlerle karşılaştırıldığında aynı sonuçların elde edlldiği görülür.

Kısmi Ek makrosu ile excel de elde edilen sonuçlar::

Yine SAS (JMP) “Baltic” verisi ile yapılan kısmi KEk analizinin JMP sonuçları aşağıdadır. Avciistatistik makrosunun “Kısmi EK (PLS) “ uygulaması ile yapılan analizle karşılaştırıldığında aynı sonuçlara ulaşılmaktadır.