Generiranje prošireno pretraživanjem
Generiranje prošireno pretraživanjem (engleski: Retrieval-augmented generation, RAG) jeste tehnika u umjetnoj inteligenciji i obradi prirodnog jezika koja spaja pronalaženje informacija s generiranjem prirodnog jezika. Ovaj pristup omogućava da veliki jezički model pri sastavljanju odgovora koristi vanjske izvore, a ne samo podatke sadržane u vlastitim parametrima.[1][2] U osnovi postupka nalazi se dohvaćanje relevantnih dokumenta, odlomaka ili zapisa iz baze podataka, vektorskog indeksa, grafa znanja ili drugog korpusa. Ti podaci dodaju se u kontekst upita, nakon čega ih model koristi pri oblikovanju odgovora. Tehnika se najčešće primjenjuje u sistemima za odgovaranje na pitanja, čet-botovima, pretraživačkim alatima, poslovnoj inteligenciji i internim asistentima za organizacijsko znanje.
Princip rada
[uredi | uredi izvor]Naziv je šire uveden radom Patricka Lewisa i saradnika iz 2020, u kojem je opisan model koji kombinuje parametarsku memoriju jezičkog modela s neparametarskom memorijom u obliku gustog vektorskog indeksa Wikipedije.[2] U tipičnom sistemu dokumenti se najprije razlažu na manje cjeline, pretvaraju u vektorske prikaze i pohranjuju u indeks pogodan za semantičko pretraživanje. Upit korisnika obrađuje se na sličan način, pa pretraživački modul pronalazi zapise koji su mu semantički ili leksički najbliži. Pronađeni kontekst zatim se umeće u prompt, a generativni model iz njega sastavlja odgovor u prirodnom jeziku. U jednostavnim izvedbama isti skup odlomaka koristi se za cijeli odgovor, dok naprednije arhitekture mogu pretraživati više puta, preformulirati upit, ponovno rangirati rezultate ili birati drugačiji kontekst za različite dijelove generiranja.[3]
Poboljšanja i evaluacija
[uredi | uredi izvor]Kasniji razvoj usmjeren je na tri dijela sistema: kvalitet pretraživanja, način uključivanja dohvaćenog konteksta i sposobnost modela da izbjegne tvrdnje koje izvori ne podržavaju.[3] Za pretraživanje se koriste leksičke metode poput TF-IDF-a i BM25, gusti vektorski prikazi, rijetki vektori, hibridna pretraga i modeli za ponovno rangiranje rezultata. Radovi o savremenom pronalaženju teksta pokazuju da rijetke, guste i pažnjom zasnovane reprezentacije imaju različite prednosti, pa se u praksi često kombinuju radi bolje preciznosti i odziva.[4] Efikasna pretraga odlomaka dodatno se poboljšava modelima kasne interakcije, kao što je ColBERT, koji preciznije porede upit i dokument nakon početnog kodiranja.[5] Sistemi se često evaluiraju odvojeno za pretragu i generiranje, pri čemu se koriste skupovi kao što su BEIR za nultu evaluaciju modela pronalaženja informacija i Natural Questions za odgovaranje na pitanja na osnovu stvarnih pretraživačkih upita.[6][7]
Primjena i ograničenja
[uredi | uredi izvor]Glavna prednost postupka jeste mogućnost uključivanja ažurnih, domenski specifičnih ili interno pohranjenih informacija bez ponovnog treniranja cijelog modela. Zbog toga se koristi u veb-pretraživačima, tehničkoj podršci, pravnoj i medicinskoj pretrazi, obradi naučnih članaka, analizi dokumenata i sistemima koji moraju prikazati izvore svojih tvrdnji.[3] U zdravstvu se proučava kao način povezivanja jezičkih modela s medicinskim bazama znanja, ali pregledi naglašavaju da ostaju otvoreni problemi evaluacije, etike, privatnosti i kliničke pouzdanosti.[8]
Iako smanjuje rizik od halucinacija, ne uklanja ga u potpunosti, jer model može pogrešno protumačiti tačan izvor, spojiti proturječne odlomke ili odgovoriti na osnovu nerelevantnog konteksta. Poseban sigurnosni problem predstavlja trovanje korpusa ili umetanje zlonamjernih instrukcija u dokumente koje sistem kasnije dohvaća kao kontekst.
Reference
[uredi | uredi izvor]- ↑ Hitl, Mateo (2025). "Izrada aplikacije za automatizirano sastavljanje povezanih radova pomoću velikih jezičnih modela". Dabar. Fakultet elektrotehnike i računarstva, Sveučilište u Zagrebu. Pristupljeno 2. 6. 2026.[mrtav link]
- 1 2 Lewis, Patrick; Perez, Ethan; Piktus, Aleksandra; Petroni, Fabio; Karpukhin, Vladimir; Goyal, Naman; Küttler, Heinrich; Lewis, Mike; Yih, Wen-tau; Rocktäschel, Tim; Riedel, Sebastian; Kiela, Douwe (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems. 33. str. 9459–9474.
- 1 2 3 Gao, Yunfan; Xiong, Yun; Gao, Xinyu; Jia, Kangxiang; Pan, Jinliu; Bi, Yuxi; Dai, Yi; Sun, Jiawei; Wang, Meng; Wang, Haofen (2023). "Retrieval-Augmented Generation for Large Language Models: A Survey". arXiv. arXiv:2312.10997.
- ↑ Luan, Yi; Eisenstein, Jacob; Toutanova, Kristina; Collins, Michael (2021). "Sparse, Dense, and Attentional Representations for Text Retrieval". Transactions of the Association for Computational Linguistics. 9: 329–345. doi:10.1162/tacl_a_00369.
- ↑ Khattab, Omar; Zaharia, Matei (2020). ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. str. 39–48. doi:10.1145/3397271.3401075.
- ↑ Thakur, Nandan; Reimers, Nils; Rücklé, Andreas; Srivastava, Abhishek; Gurevych, Iryna (2021). BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS 2021 Datasets and Benchmarks Track.
- ↑ Kwiatkowski, Tom; Palomaki, Jennimaria; Redfield, Olivia; Collins, Michael; Parikh, Ankur; Alberti, Chris; Epstein, Danielle; Polosukhin, Illia; Devlin, Jacob; Lee, Kenton; Toutanova, Kristina; Jones, Llion; Kelcey, Matthew; Chang, Ming-Wei; Dai, Andrew M.; Uszkoreit, Jakob; Le, Quoc; Petrov, Slav (2019). "Natural Questions: A Benchmark for Question Answering Research". Transactions of the Association for Computational Linguistics. 7: 453–466. doi:10.1162/tacl_a_00276.
- ↑ Amugongo, Lameck Mbangula; Mascheroni, Pietro; Brooks, Steven; Doering, Stefan; Seidel, Jan (2025). "Retrieval augmented generation for large language models in healthcare: A systematic review". PLOS Digital Health. 4 (6): e0000877. doi:10.1371/journal.pdig.0000877.
