SIRT REG


SIRT REGRESYONU (RİDGE REGRESSION)

Giriş
Sırt (ridge) regresyon çoklu-doğrusallık (multicolinarity)  gösteren verilerin çoklu regresyon analizini yapmaya yarayan bir tekniktir. Veriler çoklu-doğrusallık gösterirse En küçük kareler yöntemi  yansız (unbiased) sonuç verir.  (Tanım: Örneğin, bir numunenin ortalaması, numunenin alındığı popülasyon ortalamasının (unbiased ) yansız, direk bir tahminidir.) Ancak varyanslar gerçekte olması gerekenin çok üzerine çıkar. İşte burada regresyona bir yanlılık (bias) katarsak standart hataları küçültebiliriz. Buna sırt regresyonu adını veriyoruz.

Çoklu-doğrusallık
Çoklu doğrusallık bağımsız değişkenler arasında görülen yüksek doğrusal ilişki olarak tanımlanır. Çoklu regresyon analizine başlamadan önce bunu saptamak gerekir. Çoklu doğrusallık, regresyon katsayılarının yanlış tahminlerine yol açar, regresyon katsayılarının standart hatalarını şişirir ,regresyon katsayılarının t-test değerlerini küçültür, yanlış, anlamsız değerler verir ve modelin öngörülebilirliğini azaltır.
Çoklu doğrusallık yanlış örnekleme, gözlem adedinden fazla değişken olması, bağımsız değişkenlerden yeni değişkenler türetmek  (karesi veya çarpımları alınarak) ve ekstrem verilerin olması ile ortaya çıkmaktadır.

Çoklu doğrusallığın saptanması:
Birçok metot var. Bunlardan bazıları:
  1. Korelasyon matrisinde yüksek ilişkileri görmek. Bir veya birkaç yüksek değer illa doğrusallık olacak demek değildir.
  2. Varyans şişme faktörüne (VŞF) bakmak.  VŞF >10 çoklu doğrusallığa işaret etmektedir.
  3. Regresyon katsayılarının işaretlerine bakmak.  Eksi  veya artı olması gereken katsayılar tersi olarak çıkmamalıdır.
Çoklu doğrusallığın giderilmesi:
Çoklu doğrusallık kaynağının ne olduğuna bağlı olarak, çözümler değişecektir. Çoklu doğrusallık
veri toplamadan ortaya çıkmışsa, ek veri toplamak. Doğrusal modelin seçiminden kaynaklanıyorsa
bazı değişkenleri atarak veya değiştirerek  modelin sadeleştirilmesi, Bir veya iki gözlem doğrusallığı artırıyorsa bunların çıkarılması Eğer bunlar işe yaramıyorsa sırt regresyonu yapmak gerekir.

Sırt regresyon hesabı
Sırt regresyon analizinde bağımsız değişkenler standardize edilir ve çapraz çarpım (cross product)  matriksinin çapraz (diyagonal) elemanları bire ölçeklenir. Daha sonra sırt sabiti “k” çapraz çarpım matrisinin her bir çapraz elemanına eklenir. Sırt regresyon tahminleri, bu yeni çapraz çarpma matrisi kullanılarak elde edilen en küçük kareler tahminleridir. k sırt faktörü ile regresyon katsayıları aşağıdaki gibi hesaplanır (SAS/STA(R),User Guide)
D-1/2(Z’Z+kI)-1Z’Y
Z=XD-1/2, I=birim matris (p,p), X =bağımsız değişkenler matrisi (nxp),D=çapraz elemanları X’X in çaprazları olan matris (p,p)

Sırt faktörün (k) seçimi: Sırt İzi (ridge trace)
Sırt regresyonunda uygun k seçimi önemli bir aşamayı oluşturur. Sırt regresyonunu bulan  Hoerl and Kennard (1970), sırt izi denen bir grafik önermişlerdir. Bu grafiklerde yanlı standartlaştırılmış regresyon katsayıları k’nın bir fonksiyonu olarak gösterilmektedir. Uygun k değeri, regresyon katsayılarının değişiminin az olduğu bölgeden seçilmektedir. Genelde standartlaştırılmış regresyon katsayıları ilkönce küçük k değerleriyle çok fazla değişmekte ve daha sonra durgunlaşmaktadır. Uygun k değerinin seçiminde kullanılan diğer ölçütler, kabul edilebilir hata kareler ortalaması (MSSE) ve minimum VIF’leri (bağımsız değişkenler için birlikte 1’e yaklaşan VIF değerlerini) sağlayan k sabiti yaklaşımları sayılabilir (Anderson, 1998). Daha geniş bilgi için Gökpınar vd. (2017) bakılabilir.

KAYNAKLAR:

Anderson, Björn (1998); Scandinavian Evidence on Growth and Age Structure, ESPE
1997 Conference at Uppsala University.
Gökpınar E.,  Ebegil, M., Gökpınar F., 2017. A Review on Shrinkage Parameters in Ridge Regression, Gazi Univ.  J Sci 30(4): 565-582 (2017).
Hoerl, A. E. and Kennard R.W. (1970); “Ridge Regression: Biased Estimation for Nonorthogonal Problems,” Technometrics, 12, s. 69-82.
https://support.sas.com/documentation/cdl/en/statug/67523/HTML/default/viewer.htm#statug_reg_details34.htm


Oluşturduğumuz makro (avciistatistik121.03.2020) içerisinde SIRTridgeREGresyon) menüden bulunup tıklandığında önce bağımsız değişkenler (X’ler) daha sonra bağlı değişken (Y) girilmelidir. Sonuçların nereye yazdırılacağı yer belirlenir –bir hücreye tıklanır. Daha sonra çıkan giriş ekranında k- sırt belirlenmesi için kullanılacak değerler girilmelidir. Başlangıç ki genellikle sıfır (0) girilmelidir. Bu değere ne kadar artış yaparak (örnekte 0.002)  kaç sonuç çıkarmak istediğimiz (örnekte 15) aralarında birer boşluk bırakılarak girilir. Makro aşağıdaki sonuçları üretir. İlk sonuç sırt katsayıları ile elde edilen regresyon katsayıları (B’ler), sabit değerler ve hata kareler ortalamaları, ikinci grupta yine k değerlerine bağlı olarak regresyon katsayılarının varyans şişme faktörleri (VIF) ve  ilgili grafiği, ve son olarak standardize edilmiş regresyon katsayılarını ve ilgili grafiği verir. Aşağıdaki resimde çoğu istetistik paket programlarınca kullanılan "french import" verisinin 49-59 arasını kullanılarak SIRTridgeREGresyon makrosunu işletiyoruz. Sonuçları "regression analysis by example" sayfa 270 kitabındaki sonuçlarla karsılaştırabilirsiniz (https://books.google.com.tr/books? id=uiu5XsAA9kYC&pg=PA18&lpg=PA18&dq=CHATTERJEE,+HADI+AND+PRICE+CHAPTER+10:&source=bl&ots=mpItT89hUo&sig=ACfU3U1YMvAgN2MDs0VwNBVcTwEi83xpbQ&hl=tr&sa=X&ved=2ahUKEwjNnfyAo5DoAhVRnVwKHYB_CVgQ6AEwBHoECAgQAQ#v=snippet&q=ridge&f=false)


Resmi büyütmek için üzerine tıklayınız
SAS tarafından yapılan bir örneği makromuz tarafından yapıp sonuçları karşılaştıralım.

ÖRNEK:Asetilen verisi

x1  = 'reactor sıcaklığı(celsius),  x2  = 'h2 / n-heptone oranı,    x3  = değme süresi(sn)',     Y  = dönüşüm oranı ,   x1x2= 'sıcaklık oran interaksiyonu',   x1x1= 'sıcaklığın karesi';

Excel’de verilerimiz aşağıda olduğu gibi düzenlenir. Değişken sayısı ve gözlem sayısını istediğimiz kadar artırabiliriz. Bu veri birçok istatistik kitaplarında ve istatistik paket programlarının (SAS,STATC, NCSS vb) örnek çözümleride kullanılan bir veridir.  Önce makromuz tarafından yapılan analiz sonuçlarını verelim:




Şimdi de bunları SAS sonuçaları ile karşılaştırabiliriz.
Aynı sonuçları makromuzla da elde ettik. 


Yoruma gelince VIF değerleri genelde 10’un üzerinde ise çoklu doğrusallık olduğunu göstermektedir. Bazı araştırmalar 2 veya 4’ü önermektedirler. Standardize Regresyon katsayılarının k değerlerine bağlı olarak değişimlerine bakılabilir ve değişimin çok azaldığı yerdeki k değeri seçilebilir. Bunun için Hata kareler ortalamalarına da bakılabilir. Örneğimizde grafikler 0,003 gibi bir değere işaret etmektedir.

Şimdi yeni avciistatistik makrosunu indirerek sırt regresyonunu kullanabilirsiniz

Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

Araştırma sonuçlarının excel addin makrosu ile istatistiksel analizi

Resim
Note 1: for non-turkish visiters of this page: they can download and setup the language translator extension from the Chrome Web Market. This extension adds a button to your browser toolbar. Click the  translate  icon whenever you want to translate  the page you're visiting. Not: Yazıya, araştırma sonuçlarına dayalı tarımsal bilgi web blogunun adresini vermekle başlamak istiyorum :" avcimuzaffer.blogspot.com.tr " adrese gitmek için tıklayınız Değerli araştırmacılar, Tek başına (stand alone) çalışan istatistik paket programlarının kullanışlarında bazı kolaylıklar ve bazı zorluklar ortaya çıkmaktadır. Kolaylıkların ne olduğu herkesin malumudur. Bizi burada zorluklar ilgilendirmektedir. Zorluklar:           Kimi programlar çok detaylı sonuçlar vermekte, bu detayları anlamak için de yüksek düzeyde bilgiye ihtiyaç duyulmaktadır. Bunlar sonuçları olduğu gibi verip onlar ne anlama geliyor?, ne demektir? gibi sorular boşlukta kalmaktadır. ...
Devamı

YENİ:HAREKETLİ ORTALAMLAR (Moving averages)

Resim
  Hareketli ortalama bir veri dizisini farklı eşit alt kümelere bölüp onların ortalamalarını alarak daha düzgün bir veri dizisi elde etmeye ve ilerisi için kestirim yapmaya yönelik bir hesaplamadır. Hareketli ortalama, yüksek sapmalar (varyasyon) gösteren bir gözlem dizisini,  diziyi oluşturan belli sayıda gözlemin ortalamalarının alınarak tahmin ve çizgisel  bir dizi (eğilim)  oluşturmaya dayanmaktadır. Hareketli ortalamalar trend (eğilim) takibi açısından önemli bir gösterge olarak kabul edilmektedir.   Hareketli ortalamaların en popüler kullanımı borsada altın ve döviz hisse senedi gibi değerlerin fiyat hareketlerindedir. Fiyat, hareketli ortalamayı yukarı yönde keserse al,  fiyat ortalamayı aşağı yönlü keserse sat şeklindedir değerlendirilmektedir. Fiyatın hareketli ortalamanın üzerinde seyretmesi boğa (bull) piyasası için fiyatın hareketli ortalamanın altında seyretmesi ayı (bear) piyasası için bir teyit olarak kullanılabilir. İnternette bu konuda ...
Devamı

VERİLERİ FOURIER EĞRİSİNE UYDURMA

Resim
  PERYODİK OLAYLAR VE ANALİZ Şunu rahatlıkla söyleyebiliriz ki evren, galaksiler ve gezegenler    peryodik, döngüsel    olaylar gösterirler. Dünyanın dönüşü, , güneşin eliptik bir dairede dolanması ve termal dönemlerinin olması gibi birçok olayı sayabiliriz. Bu evrensel olaylar yerküremize de yansımaktadır. Günlerin, ayların ve Mevsimlerin ard arda gelişi, bir yıl ve 12 ayın zaman içinde tekrarlanışı bu döngüsel olaylardandır. Hatta bu durum sosyolojik olaylara bile yansır ve “tarih tekerrürden ibarettir” sözü meşhurdur               Evren ve dünyamızdaki bu döngüsel olaylar biyolojik verilere aynı zamanda biyolojik olmayan fiziksel ve kimyasal verilere de yansır. Birçok tarımsal veri türü, periyodik karakter göstererek düzenli zaman aralıklarında yukarı ve aşağı dalgalanma eğilimindedir (Little ve Hills, 1978). Doğal ortamdaki birçok olgunun çevrim veya döngüsel karakteri, zaman ve mekanda ifade edilir...
Devamı