Korisnik:21775198.138-dopisnik/Stopa entlapije

Šablon:Informacijska teorija U matematičkoj teoriji vjerovatnoće, entropijska stopa ili stopa izvorne informacije stohastičkog procesa je, neformalno, vremenska gustoća prosječne informacije u stohastičkom procesu. Za stohastičke procese sa tprebrojivi indeksom, stopa entropije $H(X)$ je granica spojne entropije od $n$ članova procesa $X_{k}$ podijeljena sa $n$, kao $n$ teži beskonačnosti:

$H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})$

kada postoji granica. Alternativna, srodna količina je:

$H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

Za jako stacionarne stohastičke procese, $H(X)=H'(X)$. Stopa entropije može se smatrati općim svojstvom stohastičkih izvora; ovo je osobina asimptotske ekviparticije. Stopa entropije može se koristiti za procjenu složenosti stohastičkih procesa. Koristi se u različitim aplikacijama u rasponu od karakterizacije složenosti jezika, slijepog odvajanja izvora, do optimizacije kvantizera i algoritama kompresije podataka. Naprimjer, kriterij maksimalne stope entropije može se koristiti za izbor funkcije u mašinskom učenju.

Stope entropije za Markovljeve lance

Budući da je stohastički proces definisan Markovljevim lancem koji je nesvodiv, aperiodični i pozitivno rekurentno ima stacionarnu distribuciju, stopa entropije je nezavisna od početne distribucije.

Naprimjer, za takav Markovljev lanac $Y_{k}$ definiran na brojljivom broju stanja, s obzirom na matriksnog prijelaza $P_{ij}$, $H(Y)$ je dat izrazom:

$\displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}$,

gdje $\mu _{i}$ = asimptotska distribucija lanca.

Jednostavna posljedica ove definicije je da iid stohastički proces ima stopu entropije koja je ista kao entropija svakog pojedinačnog člana procesa.

Također pogledajte

• Izvor informacija (matematika)
• Markovljev izvor informacija
• Svojstvo asimptotske ekviparticije
• Nasumično kretanje maksimalne entropije - odabrano da maksimizira stopu entropije

Reference

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]