Entropi (bilgi teorisi)

(Entropi (bilgi kuramı) sayfasından yönlendirildi)

Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.

TanımDüzenle

Ayrık bir rassal değişken X'in entropisi

 

olarak tanımlanır.

Burada bir x için Pr[X=x]=0 ise,

 

varsayılır. Bu varsayım

 

limiti ile tutarlıdır.