Grubbs ve Genelleştirilmiş Extrem Studentize ESD Testleri

 

Sapkın değerleri kontrol etmek, herhangi bir veri analizinin rutin bir parçası olmalıdır. Muhtemel hatalı olup olmadıklarını görmek için potansiyel sapkın değerler incelenmelidir. Veri değeri hatalı ise mümkünse düzeltilmeli, değilse silinmelidir. Hatalı olduğuna inanılmıyorsa, dikkatlice değerlendirilmeden silinmemelidir. Bütün bu testler verilerin normal dağılım olduklarını kabul eder. Normal dağılımı daha çabuk değerlendiren yöntemler vardır. Örnek: standart çarpıklık (skewness) +2 ile -2 arasında, standart basıklık (kurtosis) -2 ile +2 arasında olmalı.

Amaç: sapkın değerlerin Tespiti  Grubbs testi (Grubbs 1969 ), yaklaşık olarak normal bir dağılım izleyen tek değişkenli (bir vektör)  bir veri setinde tek bir sapkın değeri tespit etmek için kullanılır.

 Birden fazla sapkın değerin mevcut olabileceğinden şüpheleniyorsanız, Grubbs testi yerine genelleştirilmiş extrem  studentize sapma testini kullanmanız önerilir.

Grubbs testi aynı zamanda maksimum normlu kalıntı testi olarak da bilinir.

 Grubbs testi hipotezi:

 Ho: Veri setinde sapkın değer yoktur

Ha: Veri setinde tam olarak BİR sapkın değer vardır

Test İstatistiği: Grubbs test istatistiği şu şekilde tanımlanır: maksimum değer için G=(Ymaks-Yort)/Sthata Minimum değer için G=(Yort-Ymin)/Sthata Alfa,  test

G>(n−1)/√n √(tα/(2n),n−2)2/n−2+(tα/(2n),n−2)2

 

Analize başlamadan önce normal olasılık grafiğini oluşturmak değerlendirmeye katkı sağlar.

ÖRNEK:

Önce Avci menüsü altında yer alan VERIayıklama üzerine tıklanınca aşağıdaki  şekildeki gibi Grubs test görülür.

Daha sonra giriş penceresine şekildeki gibi veriler girilir. Sonuçların yazılacağı hücre seçildikten sonra Tamam’a tıklanınca aşağı şekilde olduğu gibi sonuçlar görülür

Kullanıcıya yardımcı olmak için atılacak veya kalacak değer sonuçlarda yazılmıştır.

Doğrulama için şekilde verilen internet adresinden bakılınca ayni sonuçlar (aşağıda) görülür.

H0:  there are no outliers in the data

 Ha:  the maximum value is an outlier

      Test statistic:  G = 2.4687

      Significance level:  α = 0.05

      Critical value for an upper one-tailed test:  2.032         

      Critical region:  Reject H0 if G > 2.032     

For this data set, we reject the null hypothesis and conclude that the maximum value is in fact an outlier at the 0.05 significance level.

Normal olasılık grafiği:

İlk sol şekilde görüldüğü üzere Normal olasılık grafiği çizerek bu sonucu tahmin edebiliriz. NormalOlasılıkGraf üzerine tıklanınca çıkan veri giriş penceresinden tamam a tıklanınca aşağıdaki grafik çıkar.

Grafikten görüldüğü gibi maximum değer normal dağılımdan çok fazla sapma göstermektedir.

Şimdi Veriayıklama uygulamasını  indirip kullanabilirsiniz. İndirmak için tıkla

Genelleştirilmiş Extrem Studentize Sapma- ESD testİ

Genelleştirilmiş ESD testi (Rosner 1983), yaklaşık olarak normal bir dağılım gösteren tek değişkenli (bir vektör) veri için bir veya daha fazla sapkın değeri tespit etmek için kullanılır. Öte yandan,  genelleştirilmiş ESD testi yalnızca şüpheli aykırı değer sayısının üst sınırınnın belirtilmesini gerektirir. Üst sınır R verildiğinde, genelleştirilmiş ESD testi  R aykırı değere kadar işlem yapar. Genelleştirilmiş ESD testi  hipotezi:

H0: Veri içinde sapkın değer yok

Ha: Veride R adet kadar aykırı değer var

Ri = Maxi (Xi-Xort)/Stsapma Xort  ve Stsapma  verinin  örnek ortalaması ve standart sapmasıdır. Bu R değerleri aşağıdaki formülde verilen λi değerleri ile test edilir.

λi = (n−i)tp,n−i−1 / √ (n−i−1+t2p,n−i−1)(n−i+1)           i=1,2,…,R

 

Formülde t tdağılımından bulunur. P ise p= 1- α/2(n-i+1) eşitliğinden bulunur. Eğer Ri>λi   ise  hipotez reddedilir ve i verisi atılır.

Rosner,  veri sayısının en az 15 ve eniyisi 25 in üzerinde olması gerektiğini bildirmektedir.

ÖRNEK:

Veri:      -0.25 0.68 0.94 1.15 1.20 1.26 1.26

          1.34 1.38 1.43 1.49 1.49 1.55 1.56

          1.58 1.65 1.69 1.70 1.76 1.77 1.81

          1.91 1.94 1.96 1.99 2.06 2.09 2.10

          2.14 2.15 2.23 2.24 2.26 2.35 2.37

          2.40 2.47 2.54 2.62 2.64 2.90 2.92

          2.92 2.93 3.21 3.26 3.30 3.59 3.68

          4.30 4.64 5.34 5.42 6.01

 

Sonuçlar:

Significance level:  α = 0.05

      Critical region:  Reject H0 if Ri > critical value

      Summary Table for Two-Tailed Test

      ---------------------------------------

            Exact           Test     Critical  

        Number of      Statistic    Value, λi  

      Outliers, i      Value, Ri          5 %  

      ---------------------------------------

              1          3.118          3.158  

              2          2.942          3.151  

              3          3.179          3.143 * 

              4          2.810          3.136  

              5          2.815          3.128  

              6          2.848          3.120  

              7          2.279          3.111  

              8          2.310          3.103  

              9          2.101          3.094  

             10          2.067          3.085  

 

 

Veriayıklama makro grubu içinde (bknz Şekil 1) GenelExtremStudentizeESD progamı ile  veri girişinden sonra aşağıdaki sonuçlar elde edilmiştir. Görüldüğü üzere aynı sonuçlar elde edilmiş ek olara hangi rakamların da atılacağı gösterilmiştir.

Görüldüğü üzere atılacak olan 5.34 den daha büyük olanlar (6.01 ve 5.42) atılması gereken  sapkın değerlerdir. Böylece 3 değer verilerden çıkarılmasıyla veri normal bir dağılıma uyacaktır.

Şimdi Veriayıklama uygulamasını  indirip kullanabilirsiniz. İndirmak için tıkla

Grubbs, Frank (February 1969), Procedures for Detecting Outlying Observations in Samples, Technometrics, 11(1), pp. 1-21.

Rosner, Bernard (May 1983), Percentage Points for a Generalized ESD Many-Outlier Procedure,Technometrics, 25(2), pp. 165-172.