LOGİT REG

Çok değişkenli lojistik regresyon (logit regresyon)

O(x) herhangi bir olayın birçok  bağımsız değişkene bağlı olan  olasılık değeri  ise logistik eşitliği ,  “e” doğal logaritmanın tabanı olarak,

O(x)=e^f(x)/(1+e^f(x))   ……………………………………………………………………...1

Burada f(x)=b₀+b₁x₁+b₂x₂+…+b_px_p   …………………………………………….2

Logit fonksiyon, bir olayın olasılığının bunu tamamlayan olasılığa bölümünün logaritması olarak tanımlanabilir,

 Logit [ (O(x) ]  = ln [O(x)/(1-O(x) ] …………………………..3

3  yerine 1 deki O(x) değerini koyup gerekli kısaltmaları yapınca,

Logit [ (O(x) ]  = b₀+b₁x₁+b₂x₂+..+b_px_p  ………………………..4

Böylece 0 ile 1 arasında değişen olasılık değerlerini doğrusal regresyonda olduğu gibi -  ile + arasında değişen forma dönüştürüyoruz. Burada ortaya çıkan hata, sıfır ortalama ve  O(x) (1-O(x)  değişime( varyasyona) sahip binomiyal  bir dağılıma uymaktadır.

LOGIT modelinde, klasik doğrusal regresyonda olduğu gibi dağılımda t oranı izlenmemektedir. Aksine Standart normal dağılım kullanarak t ler hesaplanır. makroda 2 yönlü p değeri kullanılmıştır (=1-2 x Normal standart dağılım(t)). Ayrıca aynı sonucu vermesine rağmen SAS analizinde olduğu için Walt Ki Kare testi de hesaplanmıştır.

Logit makrosu ile hesaplanan parametreler ve açıklamaları:

b_i :   regresyon katsayıları

SEb_i :  b' lerin standart hataları

t_i :       b' lerin anlamlılık testinde kullanılan t değerleri

prob t_i : t'lerin olasılık değerleri

Walt ki kare_i: b'lerin testi için hesaplanan ki kareleri (yukarıki testle aynı)

ki kare prob_i: olasılık değerleri (prop t ile aynı)

nokta hesabı_i: (odds ratioes)istenen olayın lasılığının  istenmeyene oranı( =e^b)

R2'msi ve döngü sayısı:  R2'msi klasik regresyondaki R² 'ye benzer. Döngü sayısı ise Newton metodunda konulan hasasiyete kaç döngü ile ulaşıldığını gösterir.

LR ve Prob: olasılık (likelihood) oranı(rate)  ve anlamlılık durumu. . bağımsız değişken sayısı (n-1) arttıkça LR artar bu da  olasılık değerinde kaybolmaya neden olur.

LnL ve LnL0:        hesaplanan modelin log-olasılığı ve sabitenin log-olasılığı.

ÖRNEK 1:

Bir araştırmacı  yüksek okula girmek için GRE sınavı notları, GPA
 (not ortalaması), ve  okulun popülaritesinin(RANK) okula kabul edilmeyi nasıl etkilediğini araştırmak istiyor. Burada çıktı, okula kabul edilmek(1) veya edilmemek(0) olmak üzere ikili (binominal) bir çıktıdır.  (https://stats.idre.ucla.edu/sas/dae/logit-regression/)

Veri dosyası aşağıdaki bağlantıdan indirebilir ( https://stats.idre.ucla.edu/wp-content/uploads/2016/02/binary.sas7bdat).

Lojistik regreson makrosunu da kapsayan yeni avciistatistik makro grubu indirmek için tıklayınız

SAS yazılımı aşağıdaki analiz sonucunu üretmiştir:

              Analysis of Maximum Likelihood Estimates

                                       Standard          Wald

       Parameter      DF    Estimate       Error    Chi-Square    Pr > ChiSq

       Intercept       1     -5.5414      1.1381       23.7081        <.0001

       GRE             1     0.00226     0.00109        4.2842        0.0385

       GPA             1      0.8040      0.3318        5.8714        0.0154

       RANK      1     1      1.5514      0.4178       13.7870        0.0002

       RANK      2     1      0.8760      0.3667        5.7056        0.0169

       RANK      3     1      0.2112      0.3929        0.2891        0.5908

Association of Predicted Probabilities and Observed Responses

Percent Concordant     69.3    Somers' D    0.386

Percent Discordant     30.7    Gamma        0.386

Percent Tied            0.0    Tau-a        0.168

Pairs                 34671    c            0.693

Logit makro sonuçları:

parametreler sabite gre gpa rank1 rank2 rank3 b -5,541 0,002 0,804 1,551 0,876 0,211 SEb 1,138 0,001 0,332 0,418 0,367 0,393 t -4,869 2,070 2,423 3,713 2,389 0,538 prob t 0,000 0,038 0,015 0,000 0,017 0,591 walt ki kare 23,709 4,284 5,872 13,787 5,706 0,289 ki kare prob 0,000 0,038 0,015 0,000 0,017 0,591 nokta hesabı 0,004 1,002 2,235 4,718 2,401 1,235 R2'msi ve döngü sayısı 0,083 6,000 LR test ve Prob 41,459 0,000 LnL ve LnL0 -229,259 -249,988 çift sayısı 34671 Sumers'D 0,386 %uyumlu 69,277 gamma 0,386 %uyumsuz 30,709 c istatist 0,693 %arada 0,014 Tau a 0,168 diğer model uygunluk istatistikleri yalnız sabite sabit+diğer AIC 501,977 470,517 SC 505,968 494,466 -2 log L 499,977 458,517

Örnek 2. Ünlü bir okula girebilmek için gerekli olan faktörleri araştırmak istiyoruz. Tahmin değişkenleri cinsiyet ve gelişmiş matematik bilgisi olarak düşünülmektedir. Çıktı değişkeni okula kabul (1) veya red (0), olarak , cinsiyet ve matematik bilgisi de 1 ve 0 olarak kodlanmıştır.  Elde edilen veriler:

admit	female	apcalc	num
0	0	0	7
0	0	1	1
0	1	0	3
0	1	1	7
1	0	0	5
1	0	1	1
1	1	1	6
1	1	0	0

Toplam 30 veri bulunmaktadır.

SAS sonucu

Model Fit Statistics

                             Intercept

              Intercept            and

Criterion          Only     Covariates

AIC              43.589         31.194

SC               44.990         35.398

-2 Log L         41.589         25.194

             Analysis of Maximum Likelihood Estimates

                               Standard          Wald

Parameter    DF    Estimate       Error    Chi-Square    Pr > ChiSq

Intercept     1     -2.5984      1.1361        5.2310        0.0222

female        1      1.4513      1.2037        1.4537        0.2279

apcalc        1      3.6685      1.1904        9.4973        0.0021

           Odds Ratio Estimates

             Point          95% Wald

Effect    Estimate      Confidence Limits

female       4.269       0.403      45.179

apcalc      39.193       3.801     404.075

Association of Predicted Probabilities and Observed Responses

Percent Concordant     80.4    Somers' D    0.756

Percent Discordant      4.9    Gamma        0.885

Percent Tied           14.7    Tau-a        0.391

Pairs                   225    c            0.878

Logit makrosunun sonucu:

 verilerde “num” başlığı altında aynı sonucun tekrar sayısı verilmektedir. LOgit analizi yapılırken bu veriler verilen sayı kadar satırlara yazılmış ve toplam 30 satır, 3 sütun olarak veri excel sayfasına yazılmıştır. Analiz bu veri üzerinden yapılmıştır.  SAS bu örneği “Exact logistic regresyon” adı altında vermiştir. Ancak görüldüğü gibi logit makrosu aynı sonuçları elde etmiştir.

parametreler	sabite	fem	apcalc
b	-2,599	1,451	3,669
SEb	1,136	1,204	1,190
t	-2,287	1,206	3,082
prob t	0,022	0,228	0,002
walt ki kare	5,231	1,454	9,497
ki kare prob	0,022	0,228	0,002
nokta hesabı	0,074	4,269	39,199
R2'msi ve döngü sayısı	0,394	7,000
LR test ve Prob	16,395	0,000
LnL ve LnL0	-12,597	-20,794

çift sayısı	225	Sumers'D	0,756
%uyumlu	80,444	gamma	0,885
%uyumsuz	4,889	c istatist	0,878
%arada	14,667	Tau a	0,391

diğer model uygunluk istatistikleri
	yalnız sabite	sabit+diğer
AIC	43,589	31,194
SC	28,595	35,398
-2 log L	41,589	25,194

Lojistik regreson makrosunu da kapsayan yeni avciistatistik makro grubu indirmek için tıklayınız