Izvorni kôd stranice Stopa entropije

{{termodinamika}}
U [[matematika|matematičkoj]] teoriji [[vjerovatnoća|vjerovatnoće]], '''entropijska stopa''' ili '''stopa izvorne informacije''' [[stohastika|stohastičkog procesa]] je, neformalno, vremenska gustoća prosječne informacije u stohastičkom procesu. Za stohastičke procese sa [[prebrojivost|prebrojivim]] indeksom, stopa [[Entropija|entropije]] <math> H (X) </math> je granica [[spojna entropija|spojne entropije]] od <math > n </math> članova procesa <math> X_k </math> podijeljena sa <math>n</math>, kao <math>n</math> [[Ograničenje (matematika)|teži]] [[beskonačnost]]i:
:<math>H(X) = \lim_{n \to \infty}\frac{1}{n} H(X_1, X_2,\dots X_n)</math>

kada postoji granica. Alternativna, srodna količina je:

:<math>H'(X) =\lim_{n\to\infty} H(X_n|X_{n-1}, X_{n-2},\dots X_1)</math>

Za jako stacionarne stohastičke procese, <math>H(X) = H'(X)</math>. Stopa entropije može se smatrati općim svojstvom stohastičkih izvora; ovo je [[osobina asimptotske ekviparticije]]. Stopa entropije može se koristiti za procjenu složenosti stohastičkih procesa. Koristi se u različitim aplikacijama u rasponu od karakterizacije složenosti jezika, slijepog odvajanja izvora, do optimizacije kvantizera i [[algoritam]]a kompresije podataka. Naprimjer, kriterij maksimalne stope entropije može se koristiti za [[izbor funkcije]] u [[mašinsko učenje|mašinskom učenju]].<ref>{{cite journal |last1=Einicke |first1=G. A. |title=Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running |journal=IEEE Journal of Biomedical and Health Informatics |volume=28 |issue=4 |pages=1097–1103 |year=2018 |doi= 10.1109/JBHI.2017.2711487 |pmid=29969403 |s2cid=49555941 }}</ref>

==Pregled==
Apsolutnu vrijednost entropije nekoga siatema nije moguće izmjeriti pa se određuje samo njena promjena, kao promjena količnika razmijenjene toplote i temperature. Mjerna jedinica entropije je [[džul]] po [[kelvin]]u (<math>J</math>/<math>K</math>).

Entropija je fenomenološka termodinamička veličina stanja kojoj se promjene računaju matematičkim pravilima [[diferencijalna jednadžba|diferenciranja]] i integriranja.

Na zatvorenom reverzibilnom putu (Carnotov cirkulatorni proces), kada se konačno i početno stanje poklope, promjena entropije iščezava, Δ<math>S</math> = <math>0</math>. Prema [[drugi zakon termodinamike|drugom zakonu termodinamike]], entropija sistema termički izoliranih od okoline veća je ili jednaka nuli: Δ<math>S</math> ≥ <math>0</math>, pri čemu se znak jednakosti veže za reverzibilne procese, a znak nejednakosti za ireverzibilne procese u sustavu. Entropija zatvorenih sistema povećava se, jer takvi teže stanju najveće [[vjerovatnoća|vjerovatnoće]], odnosno stanju s najvećom entropijom.

== Stope entropije za Markovljeve lance ==
Budući da je stohastički proces definisan [[Markovljevim lancem]] koji je [[Markovljev lanac#Reducibility|nesvodiv]], [[periodičnost|aperiodični]]
i [[Markovljev lanac|pozitivno rekurentno]] ima [[stacionarna distribucija|stacionarnu distribuciju]], stopa entropije je nezavisna od početne distribucije.

Naprimjer, za takav Markovljev lanac <math>Y_k</math> definiran na [[izbrojljivost|brojljivom]] broju stanja, s obzirom na [[Stohastički matriks|matriksnog prijelaza]] <math>P_{ij}</math>, <math>H(Y)</math> je dat izrazom:
:<math>\displaystyle H(Y) =-\sum_{ij}\mu_i P_{ij} \log P_{ij}</math>,

gdje <math>\mu_i</math> = [[asimptotska distribucija]] lanca.

Jednostavna posljedica ove definicije je da [[nezavisna i identična distribucija|iid]] [[stohastički proces]] ima stopu entropije koja je ista kao [[Entropija (teorija informacija)|entropija]] svakog pojedinačnog člana procesa.

==Također pogledajte==
* [[Izvor informacija (matematika)]]
* [[Markovljev izvor informacija]]
* [[Svojstvo asimptotske ekviparticije]]
* [[Nasumično kretanje maksimalne entropije]] - odabrano da maksimizira stopu entropije
*[[Entropija]]
==Reference==
{{Reflist}}

* Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., {{ISBN|0-471-06259-6}} [https://archive.today/20121216133431/http://www3.interscience.wiley.com/cgi-bin/bookhome/110438582?CRETRY=1&SRETRY=0]

[[Kategorija:Teorija informacije]]
[[Kategorija:Entropija]]
[[Kategorija:Markovljevi modeli]]
[[Kategorija:Vremenske stope]]