Podržano učenje

Tipični scenarij u podržanom učenju: Agent poduzima akcuiju u okruženju koje se protumači u nagradu i prikaz stanja koje se šalje nazad agentu.

Podržano učenje (engleski: reinforcement learning – RL) područje je mašinskog učenja koje se bavi time kako bi inteligentni agenti trebali odabrati akcije u okruženju kako bi maksimizirali pojam kumulativne nagrade. Podržano učenje jedan je od tri osnovne paradigme mašinskog učenja, uz nadzirano učenje i nenadzirano učenje.

Podržano učenje se razlikuje od nadziranog učenja po tome što ne zahtijeva prikazivanje označenih ulazno/izlaznih parova, kao ni obavezno ispravljanje ne baš najboljih akcija. Umjesto toga, fokus je na pronalaženju ravnoteže između istraživanja (nepoznatih područja) i iskorištavanja (trenutnog znanja). Okruženje se obično izražava u obliku Markovljevog procesa odlučivanja (MDP) jer mnogi algoritmi podržanog učenja u ovom kontekstu koriste tehnike dinamičkog programiranja.

Glavna razlika između klasičnih metoda dinamičkog programiranja i algoritama podržanog učenja je ta što podržano učenje ne pretpostavlja poznavanje tačnog matematičkog modela MDP-a i ciljaju na velike MDP-ove za koje tačne metode postaju nemoguće.

Formalizacija problema

Okolina

Podržano učenje se uglavnom definira kao Markovljev proces odlučivanja nazvan po ruskome matematičaru Markovu. Model je koncipiran kao skup stanja koja posjeduju sve informacije o sistemu odnosno okolini kojeg modeliraju. Svako od stanja omogućuje što preciznije predviđanje posljedica svake izvedene radnje. MDP se formalno zapisuje kao četverac $(S,A(s),P(s'|s,a),R(s,s',a))$, pri čemu je:

• $S$: množina svih mogućih stanja.
• $A(s)$: množina svih mogućih radnji u svakom stanju. $s\in S$
• $P(s'|s,a)$: vjerovatnost prelaza u stanje $s'$, pod pretpostavkom da se nalazimo u stanju $s$ i da je izvršena radnja $a\in A(s)$.
• $R(s,s',a)$: nagrada / kazna

Strategija

Cilj postupka je pronaći strategiju ponašanja (policy) π: $s\in S\rightarrow a\in A(s)$, koja za svako stanje $s$ i akciju $a$ maksimizira očekivanu buduću nagradu. Strategija se može mijenjati tokom učenja ovisno o količini dobijenih nagrada.

Postoji nekoliko opcija za odabir akcije, na primjer:

• greedy: uvijek će biti izabrana najbolja akcija - $\pi (s)=\arg \max _{a}Q(s,a)$
• ε-greedy: uglavnom će biti izabrana najbolja akcija, povremeno sa vjerovatnoćom ε bit će odabrana i nasumična akcija

Vrijednost funkcije

Postoje dvije slične varijante vrijednosti funkcije

• Funkcije vrijednosti stanja $V(s)$ (state value function)
• Funkcije vrijednosti prelaza između stanja $Q(s,a)$ (state-action value function)

Funkcije vrijednosti definirane su kao alat za traženje maksimalne sume svih očekivanih nagrada pomoću sljedećeg algoritma:

• Čekaj nagradu u budućnosti s faktorom umanjenja γ:
  • Uvažavajući stanja $s\in S$: $V^{\pi }(s)=E\{rt+1+\gamma rt+2+\gamma ^{2}rt+3+...|st=s,\pi \}$
  • Uvažavajući prelaze između stanja $s\in S,a\in A(s)$: $Q^{\pi }(s,a)=E\{rt+1+\gamma rt+2+\gamma 2rt+3+...|st=s,at=a,\pi \}$

Također pogledajte

• Podržano učenje na osnovu povratnih informacija od ljudi

Dalje čitanje

• Auer, Peter; Jaksch, Thomas; Ortner, Ronald (2010). "Near-optimal regret bounds for reinforcement learning". Journal of Machine Learning Research. 11: 1563–1600.
• Busoniu, Lucian; Babuska, Robert; De Schutter, Bart; Ernst, Damien (2010). Reinforcement Learning and Dynamic Programming using Function Approximators. Taylor & Francis CRC Press. ISBN 978-1-4398-2108-4.
• François-Lavet, Vincent; Henderson, Peter; Islam, Riashat; Bellemare, Marc G.; Pineau, Joelle (2018). "An Introduction to Deep Reinforcement Learning". Foundations and Trends in Machine Learning. 11 (3–4): 219–354. arXiv:1811.12560. Bibcode:2018arXiv181112560F. doi:10.1561/2200000071. S2CID 54434537.
• Powell, Warren (2011). Approximate dynamic programming: solving the curses of dimensionality. Wiley-Interscience. Arhivirano s originala, 31. 7. 2016. Pristupljeno 2. 4. 2023.
• Sutton, Richard S.; Barto, Andrew G. (2018). Reinforcement Learning: An Introduction (2 izd.). MIT Press. ISBN 978-0-262-03924-6.
• Sutton, Richard S. (1988). "Learning to predict by the method of temporal differences". Machine Learning. 3: 9–44. doi:10.1007/BF00115009. Arhivirano s originala, 30. 3. 2017. Pristupljeno 2. 4. 2023.
• Szita, Istvan; Szepesvari, Csaba (2010). "Model-based Reinforcement Learning with Nearly Tight Exploration Complexity Bounds" (PDF). ICML 2010. Omnipress. str. 1031–1038. Arhivirano s originala (PDF), 14. 7. 2010.