Entropi (bilgi teorisi)

Bilgi entropisi (bit cinsinden), olası sonuçların sayısının logaritması-2'dir. İki madeni paranın dört sonucu vardır: HH-HT-TH-TT ve entropi iki bittir.

Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.

Tanım

Ayrık bir rassal değişken X'in entropisi

$\mathrm{H}(X):=-\sum _x\mathrm{Pr}[X=x]\lg \mathrm{Pr}[X=x]$

olarak tanımlanır.

Burada bir x için Pr[X=x]=0 ise,

$\mathrm{Pr}[X=x]\lg \mathrm{Pr}[X=x]=0$

varsayılır. Bu varsayım

$\underset{p\to 0^{+}}{\lim }p\lg p=0$

limiti ile tutarlıdır.