Entropia warunkowa

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej ${\displaystyle Y,}$ jeśli wcześniej znamy wartość innej zmiennej losowej ${\displaystyle X.}$ Zapisuje się ją jako ${\displaystyle H(Y|X)}$ i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych ${\displaystyle X}$ i ${\displaystyle Y}$ jest większa od entropii samej zmiennej ${\displaystyle X,}$ czyli ile dodatkowej informacji dostajemy na podstawie zmiennej ${\displaystyle Y,}$ jeśli znamy zmienną ${\displaystyle X.}$

Formalnie dla dyskretnych zmiennych losowych ${\displaystyle X}$ i ${\displaystyle Y}$ entropia ${\displaystyle Y}$ warunkowana przez ${\displaystyle X}$ może być zdefiniowana jako:

${\displaystyle H(Y|X)=\sum _{x\in X}p(x)H(Y|x),}$

gdzie:

${\displaystyle H(Y|x)=\sum _{y\in Y}p(y|x)\log {\frac {1}{p(y|x)}}.}$

A zatem:

${\displaystyle H(Y|X)=\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)\log {\frac {1}{p(y|x)}}.}$

Wzór ten można zapisać również jako:

${\displaystyle H(Y|X)=-\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)}}.}$

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

${\displaystyle H(Y|X)=-\int \limits _{Y}\int \limits _{X}p(x,y)\log {\frac {p(x,y)}{p(x)}}\;dx\,dy,}$

gdzie ${\displaystyle p(x,y)}$ oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a ${\displaystyle p(x)}$ jest gęstością prawdopodobieństwa ${\displaystyle X.}$

Alternatywnie tę samą definicję można zapisać jako

${\displaystyle H(Y|X)=H(X,Y)-H(X),}$

gdzie ${\displaystyle H(X,Y)}$ oznacza entropię produktową ${\displaystyle X}$ i ${\displaystyle Y,}$ a ${\displaystyle H(X)}$ oznacza entropię ${\displaystyle X.}$

Jeśli ${\displaystyle X}$ i ${\displaystyle Y}$ są niezależne, poznanie ${\displaystyle X}$ nie daje żadnych informacji o ${\displaystyle Y.}$ Wtedy entropia warunkowa jest po prostu równa entropii ${\displaystyle Y{:}}$ ${\displaystyle H(Y|X)=H(Y).}$

Z drugiej strony, jeśli ${\displaystyle Y}$ jest funkcją ${\displaystyle X,}$ to poznanie ${\displaystyle X}$ całkowicie determinuje wartość ${\displaystyle Y.}$ Wtedy ${\displaystyle H(Y|X)=0.}$

Dla dowolnych ${\displaystyle X}$ i ${\displaystyle Y}$ zachodzi^[1]:

${\displaystyle H(Y|X)=H(X,Y)-H(X)}$ (reguła łańcuchowa dla entropii)

${\displaystyle H(Y|X)\leqslant H(Y)}$

${\displaystyle H(Y|X)=H(X|Y)-H(X)+H(Y)}$ (twierdzenie Bayesa dla entropii)

${\displaystyle H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)}$

${\displaystyle H(X,Y)=H(X)+H(Y)-I(X;Y)}$

${\displaystyle I(X;Y)\leqslant H(X)}$

gdzie ${\displaystyle I(X;Y)}$ to informacja wzajemna między ${\displaystyle X}$ i ${\displaystyle Y.}$ Jeśli ${\displaystyle X}$ i ${\displaystyle Y}$ są zdarzeniami niezależnymi:

${\displaystyle H(Y|X)=H(Y)}$

Pomimo iż wartość wyrażenia ${\displaystyle H(Y|X=x)}$ może być zarówno większa, jak i mniejsza od ${\displaystyle H(Y),}$ entropia warunkowa ${\displaystyle H(Y|X)}$ jest zawsze niewiększa niż ${\displaystyle H(Y).}$ Wartość ${\displaystyle H(Y|X=x)}$ równa jest zero w szczególnym przypadku, gdy ${\displaystyle Y}$ jest funkcją zmiennej ${\displaystyle X.}$

• informacja wzajemna