Çokdeğişirli normal dağılım

Olasılık kuramı ve istatistik bilim kollarında, çokdeğişirli normal dağılım veya çokdeğişirli Gauss-tipi dağılım, tek değişirli bir dağılım olan normal dağılımın (veya Gauss-tipi dağılımın) çoklu değişirli hallere genelleştirilmesidir.

Çokdeğişirli normal
Olasılık yoğunluk fonksiyonu
Yığmalı dağılım fonksiyonu
Parametreler konum parametresi (reel vektör)
kovaryans matrisi (pozitif-kesin reel matris)
Destek
Olasılık yoğunluk fonksiyonu (OYF)
Birikimli dağılım fonksiyonu (YDF)
Ortalama
Medyan
Mod
Varyans (kovaryans matrisi)
Çarpıklık 0
Fazladan basıklık 0
Entropi
Moment üreten fonksiyon (mf)
Karakteristik fonksiyon

Genel halDüzenle

Yığmalı dağılım fonksiyonuDüzenle

Genel bir tanımla,   olarak ifade edilen yığmalı dağılım fonksiyonu, bir rassal vektörun,   vektörüne eşit veya bu vektör değerlerden daha az olduğu zaman karşıtı olarak bulunan bütün olasılıkların toplamını ifade eden bir fonksiyondur. Çokdeğişirli normal dağılım için bir cebirsel kapalı eşitlik şeklinde bir   ifadesi bulunmamaktadır. Ancak bu fonksiyonun sayısal değerlerini tahmin etmek için birkaç algoritma bulunmaktadır. Bu algoritma kullanışına bir örnek için verilen referanslarda MVNDST adlı algoritmaya bakınız. ([1] veya [2] ).

Bir karşıt örneğinDüzenle

İki rassal değişken olan X ve Y tek tek normal dağılım gösterseler bile bu iki rassal değişkenin bileşik olarak (X, Y) bir çoklunormal dağılım göstereceği anlamına gelmez. Buna basit bir örnekte eğer |X| > 1 ise Y=X olması ve eğer |X| < 1 ise Y = -X olmasıdır. Bu gerçek ikiden fazla sayıda rassal değişken içinde doğrudur.

Buna benzer bir karşıt örneğin için normal olarak dağılımlı olup ve korrelasyon olmaması bağımsızlık ifade etmez maddesine bakınız.

Normal dağılım gösterme ve bağımsızlıkDüzenle

Eğer X ve Y rassal değişkenleri tek tek normal dağılım gösterirlerse ve birbirlerinden istatistiksel olarak bağımsızlarsa, o halde bu iki rassal değişken bileşiği (yani rassal vektörü) ikideğişirli normal dağılım gösterir veya diğer bir ifade ile ortaklaşa normal dağılımlılardır. Ancak ortaklaşa normal dağılım gösteren her iki rassal değişkenin birbirinden bağımsız olduğu gerçek değildir.

İki değişirli halDüzenle

İki boyutlu singuler olmayan halde, ikideğişirli normal dağılım için (ortalamalar (0,0)da ise) olasılık yoğunluk fonksiyonu şöyle tanımlanır:

 

Burada   terimi   ve   arasındaki korelasyonu gösterir ve şu ifade kovaryans matrisi olur:

 .

Afin dönüşümüDüzenle

Geometrik açıklamaDüzenle

Bir singuler olmayan çokdeğişirli normal dağılım için aynı yoğunluk gösteren kontur eğrileri elipsoitlerdir; yani ortalamada merkezleşmiş çok-boyutlu-kürelerin doğrusal dönüşümleridir.[3]. Bu elipsoitlerin esas eksenlerinin yönleri kovaryans matrisinin özvektörleri (eigenvector) olarak verilmiştir. Esas eksenlerin orantılı uzunluklarının karesi bunlara karşıt olan özdeğerler (eigenvalues) olurlar. Bu halde şu ifade ortaya çıkar:

 

Bunun yanında, U bir rotasyon matrisi olarak seçilebilir; çünkü bu eksenin tersini alınca   hiç etkilenmemektedir; buna karşıt olarak bir matris sütûnunun tersi alınırsa unun determinantının işaretleri değişir.   ile özetlenen dağılım böylelikle   ifadesinin   ile ölçeğinin değiştirilmesi, u ile rotasyon yapılması ve   ile çevrilmesi ile ortaya çıkar.

Bunun aksine bakılırsa,   ve tam ranklı U matrisi ve pozitif çapraz girdiler olan   değerleri için yapılan herhangi bir seçim, bir singuler olmayan çokdeğişirli normal dağılım ortaya çıkartır. Eğer herhangi bir   sıfıra eşitse ve u kare matris ise, bunun sonucunda ortaya çıkan   kovaryans matrisi bir singuler matris olur. Geometrik olarak bunun açıklaması her kontur elipsoitin sonsuz olarak inceleşmesi ve n-boyutlu bir uzayda 0 bir hacim kapsamasıdır, çünkü en aşağı bir tane esas eksenin uzunluğu sıfır olmaktadır.

Korelasyonlar ve bağımsızlıkDüzenle

Genel olarak, rassal değişkenler birbirleriyle çok yüksek derecede bağımlı olabilirler ama hiç korelasyon göstermeyebilirler. Ama, eğer bir rassal vektör çokdeğişirli normal dağılım gösterirse o halde aralarında hiç korelasyon göstermeyen iki veya daha fazla sayıda vektör parçası istatistiksel olarak birbirinden bağımsızdır. Bundan da şu sonuc çıkartılabilir: eğer vektörün herhangi iki veya daha fazla parçası ikişer ikişer bağımsızlık gösteriyorsa, bu parçalar birbirinden bağımsızdırlar.

Fakat ayrı ayrı olarak ve marjinal olarak, iki rassal değişken normal dağılım gösterirlerse ve aralarında hiç korelasyon bulunmazsa, o halde bu iki değişkenler birbirinden bağımsızdır. Normal dağılım gösteren iki rassal değişken, ortaklaşa normal dağılım göstermeyebilirler; yani bir parçası oldukları vektör bir çokdeğişkenli normal dağılım göstermeyebilir. İki korelasyon göstermeyen ama normal dağılım gösteren fakat bağımsız olmayan rassal değişken için örneğin normal dağılım gösterip hiç korelasyon göstermemek bağımsız olmak demek değildir maddesine bakınız.

Daha yüksek momentlerDüzenle

Genel olarak X için kinci derecede momentler şöyle tanımlanmaktadır:

 

Burada  

Merkezsel  inci derecede momentler şöyle verilir:

(a)Eger   tek ise   olur. (b)Eger   cift ise ve  , o halde

 

Burada toplam   setinin   (sıralanmamış) çiftler üzerine tahsis edilmelerinin hepsi birlikte alınmasıdır. Bu işlem sonucunda toplam içinde   sayıda terim bulunur, Her bir terim   tane kovaryansın çarpımıdır.


Özellikle, 4-üncü derecedeki momentler şöyle verilirler:

 
 
 
 
 

Dört değişken halindeki dördüncü derece moment içinde üç tane terim bulunur.

Altıncı-derecede moment içinde (3 × 5 =) 15 terim; sekizinci derecede momentler arasında (3 × 5 × 7) = 105 terim bulunur. Altıncı-derecedeki moment için ifade şöyle genişletilebilir:

 

Koşullu dağılımlarDüzenle

Eğer   ve   şu şekilde kısımlara ayrılırlarsa:

  Büyüklüğü şu olur;  
  Büyüklüğü şu olur:  

Bu halde   ifadesiyle koşullu olan   şöyle özetlenen çokdeğişirli normal dağılım gösterir:

 

Burada

 

olur ve covaryans matrisi şöyle verilir:

 

Bu matris   içinde   ifadesinin Schur tamamlayıcısı olur.

Bundan dikkati çekmesi gereken şu sonuçlar çıkartılır:   değerinin   olduğunu bilmek varyansı değiştirir. Daha şaşırtıcı olarak, ortalama değeri   ile kayma gösterir. Eğer   bilinmese idi,   nin göstereceği dağılım   olurdu.

  matrisi regresyon katsayıları olarak da bilinirler.

Fisher'in enformasyon matrisiDüzenle

Bir normal dağılım için Fisher'in enformasyon matrisi bir ozel sekil alir.   için Fisher'in enformasyon matrisinin   elemanı su olur:

 

Burada

  •  
  •  
  •  
  •   trace fonksiyonu olur.

Kullback-Leibler ayrılımıDüzenle

  den   dağılımına Kullback-Leibler ayrılımı şöyle verilir:

 


Parametrelerin kestrimiDüzenle

Cokdegisirli normal dağılımın kovaryansinin maksimum olabilirlik kestiriminin elde edilmesi şaşırtıcı şekilde düzenli ve zekice yapılmıştır. Kovaryans matrislerin kestirimi maddesine bakin. Bir N-boyutlu cokludegisirli normal dağılımın olasılık yoğunluk fonksiyonu şöyle verilir:

 

ve kovaryans matrisinin maksimum olabilirlik kestirimi söyle yazılır:

 

Bu basit olarak bir n büyüklüğünde bir örneklem için örneklem kovaryans matrisidir. Bu bir yanli kestirim olup beklenen değeri

 

Oliur. Bir yansız örneklem kovaryansi kestirmi sudur:

 

EntropiDüzenle

Çokdeğişirli normal dağılım için diferansiyel entropi ifadesi şöyle verilir:[4]

 
 
 

Burada   covaryans matrisi olan  nın determani olur:

Çokdeğişirli normallik sınamalarıDüzenle

Çokdeğişirli normallik sınamaları bir verilmiş veri seti için bir teorik çokdeğişirli normal dağılıma benzerlik olup olmadığını sınamak için hazırlanmıştır. Bu sınamalarda sıfır hipotez veri setinin çokdeğişirli normal dağılıma benzerlik gösterdiğidir. Eğer sınama ile bulunan p-değeri yeter derece küçük ise (yani genellikle 0,05 veya 0,01den daha küçük ise), sıfır hipotez reddedilir ve verinin çokludeğişirli normal dağılım göstermediği kabul edilir. Bu çokludeğişirli normallik sınamaları arasında popüler olan Cox-Small sınamasıdır: [5]. Smith ve Jain'in Friedman-Rafsky testini adaptasyonu için şu referansa bakın: [6]

Dağılımdan değerlerin bulunmasıDüzenle

  ortalama vektörü ve (simetrik ve pozitif kesin olması gereken) kovaryans matrisi   olan bir  -boyutlu çokdeğişirli normal dağılımdan bir rastgele vektör   çekmek için çok kullanılan bir yöntem şöyle uygulanır:

  1.   için (matris kare kökü olan) Çoleski dekompozisyonu hesap edilir. Yani   koşuluna uyan tek bir alt üçgensel matris olan   bulunur.
  2. Örneğin Box-Müller dönüşümü ile üretilip elde edilebilen   tane birebirine bağımsiz normal dağılım gösteren değişebilir parçalarından oluşan bir vektör   bulunur.
  3.  ,   ifadesine eşit olarak bulunur.

KaynakçaDüzenle

  1. ^ [1] 15 Nisan 2008 tarihinde Wayback Machine sitesinde arşivlendi. (FORTRAN yazılımlı kodu kapsar.)
  2. ^ [2] 13 Mayıs 2008 tarihinde Wayback Machine sitesinde arşivlendi. ( MATLAB yazılımlı koduda kapsar )
  3. ^ Nikolaus Hansen. "The CMA Evolution Strategy: A Tutorial" (PDF). 27 Eylül 2011 tarihinde kaynağından (PDF) arşivlendi. 
  4. ^ Gokhale, DV (Mayıs 1989). "Entropy Expressions and Their Estimators for Multivariate Distributions". Information Theory, IEEE Transactions on. 35 (3). ss. 688-692. 
  5. ^ Cox, D. R. (Ağustos 1978). "Testing multivariate normality (Çokdeğişirli normallik testi)". Biometrika. 65 (2). ss. 263-272. 
  6. ^ Smith, Stephen P. (Eylul 1988). "A test to determine the multivariate normality of a dataset (Bir veri setinin çokdeğişirli normallik gösterip göstermediği için bir sınama)". IEEE Transactions on Pattern Analysis and Machine Intelligence. 10 (5). ss. 757-761. DOI:10.1109/34.6789.  Tarih değerini gözden geçirin: |yıl= (yardım)