Idi na sadržaj

Halucinacija (umjetna inteligencija)

S Wikipedije, slobodne enciklopedije
Primjer halucinacije u generativnoj umjetnoj inteligenciji: rani video-model Sora pogrešno je prikazao vijadukt Glenfinnan s drugim kolosijekom i drugim netačnim detaljima.[1]

Halucinacija u okvirima umjetne inteligencije jest odgovor koji generira umjetna inteligencija i koji sadrži netačne ili obmanjujuće informacije predstavljene kao činjenice.[2][3] Izraz se analogno naslanja na halucinaciju u ljudskoj psihologiji, ali se u kontekstu AI-ja odnosi na pogrešno konstruisan sadržaj, a ne na perceptivno iskustvo.[3] Pojava je naročito povezana s chatbotovima i velikim jezičkim modelima, kod kojih sistem može proizvesti uvjerljivo sročene, ali izmišljene tvrdnje, reference ili objašnjenja.[4]

Greške i halucinacije predstavljaju važno pitanje za praktičnu upotrebu AI-sistema u područjima visokog rizika, kao što su medicinska dijagnostika, logistika i projektiranje čipova.[5] Istovremeno, sam izraz predmet je rasprave, jer ga dio istraživača smatra previše antropomorfnim i nedovoljno preciznim.[6]

Termin

[uredi | uredi izvor]

Porijeklo

[uredi | uredi izvor]

Izraz hallucination u računarstvu se koristi od 1980-ih, kada je u računarskom vidu imao uglavnom pozitivnu konotaciju i označavao dodavanje detalja slici, kao u zadacima povećanja rezolucije lica.[7] Tokom 2000-ih izraz se počeo koristiti i za neuspjehe u mašinskom prevođenju, da bi od 2010-ih sve češće označavao generiranje činjenično pogrešnih ili obmanjujućih izlaza u sistemima umjetne inteligencije.[3]

Širu javnu prepoznatljivost izraz je stekao s naglim širenjem chatbotova zasnovanih na velikim jezičkim modelima. Kompanija Meta je 2021. prilikom predstavljanja sistema BlenderBot 2 upozorila da je sistem sklon „halucinacijama“, koje je opisala kao samouvjerene, ali netačne tvrdnje.[8] Nakon javnog izlaska ChatGPT-ja krajem 2022. izraz je postao uobičajen i u medijskom izvještavanju.[9]

Definicije i alternative

[uredi | uredi izvor]

U oblasti generiranja prirodnog jezika halucinacija se često definira kao sadržaj koji izgleda činjenično, ali nije utemeljen u izvoru ili dostupnim dokazima.[3][10] U literaturi se pojavljuju i alternativni izrazi, poput konfabulacije, fabriciranja i činjenične greške.[4] Pojedini autori razlikuju:

  • unutrašnje halucinacije, kada izlaz proturječi izvoru;
  • vanjske halucinacije, kada se tvrdnja ne može potvrditi na osnovu izvora;
  • zatvoreno-domenske, kada izlaz proturječi samom upitu;
  • otvoreno-domenske, kada izlaz ne proturječi upitu, ali nije provjerljivo utemeljen.[3][7]

Kritika

[uredi | uredi izvor]

Dio naučne zajednice izbjegava izraz halucinacija zato što može sugerirati da modeli posjeduju svijest, namjeru ili razumijevanje slično ljudskom.[6] Kritike su, između ostalih, iznijeli Usama Fayyad, Mary Shaw i Gary N. Smith, koji tvrde da takav rječnik prikriva činjenicu da je riječ o običnim računarskim greškama ili statistički proizvedenim netačnostima.[6][11]

U generiranju prirodnog jezika

[uredi | uredi izvor]
Primjer netačnog i nadrealnog izlaza u višekoračnom prevođenju pomoću jezičkog modela.

U generiranju prirodnog jezika halucinacija označava izlaz koji djeluje uvjerljivo, ali nije zasnovan na izvoru, kontekstu ili provjerljivim činjenicama.[3] Takve pojave su naročito česte kod velikih jezičkih modela, koji svaku narednu riječ predviđaju na osnovu statističke vjerovatnoće, a ne na osnovu pouzdanog razumijevanja istinitosti iskaza.[12]

Uzroci

[uredi | uredi izvor]

Halucinacije mogu nastati zbog nepotpunih, netačnih ili nereprezentativnih skupova podataka, kao i zbog razmimoilaženja između izvora i ciljnih odgovora u podacima za treniranje.[3] Dodatni uzrok leži u samoj arhitekturi modela: u fazi predtreniranja sistem je nagrađen za pogađanje naredne riječi, pa je često sklon „odgovoriti nečim“ čak i kada nema dovoljno informacija.[12] Kako odgovor raste, svaka prethodno generirana netačnost može poslužiti kao osnova za naredne, što dovodi do lanca ili kaskade halucinacija.[3]

Primjeri

[uredi | uredi izvor]

Jedan od ranih široko zapaženih primjera bio je model Galactica, koji je u novembru 2022. objavila Meta. Sistem je generirao tekstove sa stvarnim stilskim obilježjima naučnih radova, ali je u nekim slučajevima navodio izmišljene radove i pogrešne bibliografske podatke, nakon čega je povučen iz javne upotrebe.[13][14]

ChatGPT je također više puta dokumentirano davao uvjerljive, ali netačne odgovore, uključujući izmišljene citate, pogrešne biografske podatke i pseudonaučna objašnjenja.[4][15] Godine 2023. posebnu pažnju izazvao je slučaj Mata v. Avianca, Inc., u kojem je advokat predao sudu podnesak sa šest izmišljenih sudskih presedana koje je generirao ChatGPT.[16]

U drugim modalitetima

[uredi | uredi izvor]
Pojednostavljen prikaz lažno pozitivnog prepoznavanja objekta.

Pojam halucinacije nije ograničen na tekst. U širem smislu, svaka samouvjerena, ali pogrešna AI-predikcija u odnosu na podatke za učenje može se opisati kao halucinacija.[3]

Prepoznavanje objekata

[uredi | uredi izvor]

U prepoznavanju objekata halucinacije se mogu javiti kao lažno pozitivna prepoznavanja, naročito pod utjecajem adverzarnih napada ili nedovoljno reprezentativnih podataka za treniranje.[17][18] U literaturi su opisani primjeri u kojima sistem pogrešno klasificira znak stop, audio-snimak ili sliku skijaša kao nepovezan objekat, poput psa.[18]

Generativni audio i slike

[uredi | uredi izvor]

Modeli za generiranje zvuka i govora također mogu davati neočekivane i netačne rezultate.[19] Kod modela za generiranje slika, kao što su Stabilna difuzija i Midjourney, halucinacije se javljaju u vidu netačnih historijskih, anatomskih ili kontekstualnih detalja. Godine 2024. model Gemini izazvao je polemike nakon što je prikazivao nacističke vojnike kao osobe različitih rasa, nakon čega je Google privremeno obustavio generiranje slika ljudi u tom sistemu.[20][21]

U naučnim istraživanjima

[uredi | uredi izvor]

Problemi

[uredi | uredi izvor]

AI-halucinacije predstavljaju poseban problem u akademskom pisanju jer modeli mogu izmišljati izvore, DOI-jeve, autore ili sadržaj stvarnih radova.[22] Istraživanje objavljeno 2023. pokazalo je da je među 178 referenci koje je proizveo GPT-3 čak 69 imalo netačan ili nepostojeći DOI, dok dodatnih 28 nije bilo moguće pronaći ni u internetskoj pretrazi.[22]

Jerome Goddard je u biomedicinskom kontekstu dokumentirao slučaj u kojem je ChatGPT dao sumnjive informacije o krpeljima, a naknadnom provjerom utvrđeno je da su DOI i imena autora bili halucinirani.[23] Dodatni problem predstavlja to što generirani naučni sažeci ponekad prolaze kao originalni i ljudskim recenzentima i softverima za detekciju AI-teksta.[24][25]

Koristi

[uredi | uredi izvor]

U nekim naučnim područjima halucinacije se ne posmatraju isključivo kao kvar, nego i kao heuristički alat za stvaranje novih hipoteza i dizajna.[1] Laboratorija Davida Bakera na Univerzitetu Washington koristila je AI-sisteme za dizajniranje velikog broja novih proteina koji ne postoje u prirodi, što je povezano s patentima i biotehnološkim kompanijama nastalim iz tog rada.[1] Na Caltechu su slični pristupi korišteni pri projektiranju katetera s manjim rizikom od bakterijske kontaminacije, dok su druge istraživačke grupe takve tehnike primjenjivale u meteorologiji, medicinskom snimanju i navigaciji robota.[1]

Posljedice u obrazovanju

[uredi | uredi izvor]

Halucinacije umjetne inteligencije utiču i na obrazovanje, posebno zbog širenja upotrebe alata kao što su ChatGPT i Grammarly pri pisanju seminarskih, istraživačkih i drugih studentskih radova.[26] Zabrinutost se odnosi i na akademski integritet i na mogućnost da studenti usvoje netačne informacije koje su modeli predstavili kao tačne.[27]

Istraživanje sa Univerziteta Mississippi iz 2024. utvrdilo je da je 47% citata koje su studenti predavali uz pomoć generativne AI imalo netačne naslove, datume, autore ili kombinaciju tih grešaka.[27] Dodatni problem predstavlja nepouzdanost alata za detekciju AI-teksta: pojedini sistemi mogu pogrešno označiti i radove koji nisu nastali uz pomoć AI-ja, a OpenAI je obustavio vlastiti klasifikator zbog nedovoljne tačnosti.[28][29]

Metode ublažavanja

[uredi | uredi izvor]

Istraživanja pokazuju da halucinacije još nisu potpuno objašnjene, a neki autori ih smatraju urođenim ograničenjem velikih jezičkih modela.[30] Ipak, razvijen je niz pristupa za njihovo smanjenje. Ji i saradnici dijele ih na metode povezane s podacima i metode povezane s modeliranjem i izvođenjem zaključaka.[3] U prvu grupu spadaju izgradnja pouzdanijih skupova podataka, čišćenje podataka i dopunjavanje ulaza vanjskim izvorima, dok druga obuhvata izmjene arhitekture modela, načina treniranja, potkrepljivog učenja i naknadne obrade izlaza.[3]

Među predloženim rješenjima nalaze se i međusobna provjera više modela, neurosimboličke arhitekture, validacija odgovora pomoću web-pretrage, procjena nesigurnosti modela te specijalizirani alati za otkrivanje halucinacija, kao što su SelfCheckGPT i srodni sistemi za nadzor kvaliteta odgovora.[31][32] Takvi pristupi mogu poboljšati pouzdanost, ali često povećavaju troškove računanja i usporavaju odgovor sistema.[33]

Također pogledaj

[uredi | uredi izvor]

Reference

[uredi | uredi izvor]
  1. 1 2 3 4 Broad, William J. (23. 12. 2024). "How Hallucinatory A.I. Helps Science Dream Up Big Breakthroughs". The New York Times. Pristupljeno 11. 3. 2026.
  2. ↑ Maynez, Joshua; Narayan, Shashi; Bohnet, Bernd; McDonald, Ryan (2020). "On Faithfulness and Factuality in Abstractive Summarization". Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: 1906–1919. doi:10.18653/v1/2020.acl-main.173.
  3. 1 2 3 4 5 6 7 8 9 10 11 Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Fung, Pascale (2023). "Survey of Hallucination in Natural Language Generation". ACM Computing Surveys. 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730.
  4. 1 2 3 Edwards, Benj (6. 4. 2023). "Why ChatGPT and Bing Chat are so good at making things up". Ars Technica. Pristupljeno 11. 3. 2026.
  5. ↑ Metz, Cade (6. 11. 2023). "Chatbots May 'Hallucinate' More Often Than Many Realize". The New York Times. Pristupljeno 11. 3. 2026.
  6. 1 2 3 Stening, Tanner (10. 11. 2023). "What are AI chatbots actually doing when they 'hallucinate'? Here's why experts don't like the term". Northeastern Global News. Pristupljeno 11. 3. 2026.
  7. 1 2 Tonmoy, S. M. Towhidul Islam; Zaman, S. M. Mehedi; Jain, Vinija; Rani, Anku; Rawte, Vipula; Das, Amitava (8. 1. 2024). "A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models". arXiv:2401.01313 [cs.CL].
  8. ↑ "Blender Bot 2.0: An open source chatbot that builds long-term memory and searches the internet". Meta AI. 2021. Pristupljeno 11. 3. 2026.
  9. ↑ Weise, Karen; Metz, Cade (1. 5. 2023). "When A.I. Chatbots Hallucinate". The New York Times. Pristupljeno 11. 3. 2026.
  10. ↑ OpenAI (2023). "GPT-4 Technical Report". arXiv:2303.08774 [cs.CL].
  11. ↑ Smith, Gary N. (10. 12. 2023). "ChatGPT is not just wrong sometimes — it's wrong in ways that are deeply misleading". Salon. Pristupljeno 11. 3. 2026.[mrtav link]
  12. 1 2 Varanasi, Lakshmi (2023). "Why AI chatbots hallucinate, according to OpenAI researchers". Business Insider. Pristupljeno 11. 3. 2026.[mrtav link]
  13. ↑ Taylor, Ross; Kardas, Marcin; Cucurull, Guillem; Scialom, Thomas (16. 11. 2022). "Galactica: A Large Language Model for Science". arXiv:2211.09085 [cs.CL].
  14. ↑ Edwards, Benj (18. 11. 2022). "New Meta AI demo writes racist and inaccurate scientific literature, gets pulled". Ars Technica. Pristupljeno 11. 3. 2026.
  15. ↑ Field, Hayden (31. 5. 2023). "OpenAI is pursuing a new way to fight A.I. 'hallucinations'". CNBC. Pristupljeno 11. 3. 2026.
  16. ↑ Weiser, Benjamin (27. 5. 2023). মামলা.html "Here's What Happens When Your Lawyer Uses ChatGPT" Provjerite vrijednost parametra |url= (pomoć). The New York Times. Pristupljeno 11. 3. 2026.
  17. ↑ Ferrie, Chris; Kaiser, Sarah (2019). Neural Networks for Babies. Naperville, Illinois: Sourcebooks Jabberwocky. ISBN 978-1-4926-7120-6.
  18. 1 2 Matsakis, Louise (8. 5. 2019). "Artificial Intelligence May Not 'Hallucinate' After All". Wired. Pristupljeno 11. 3. 2026.
  19. ↑ Zhang, Chenshuang; Zhang, Chaoning; Zheng, Sheng; Zhang, Mengchun (2. 4. 2023). "A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI". arXiv:2303.13336 [cs.SD].
  20. ↑ Robertson, Adi (21. 2. 2024). "Google apologizes for "missing the mark" after Gemini generated racially diverse Nazis". The Verge. Pristupljeno 11. 3. 2026.
  21. ↑ "Gemini image generation got it wrong. We'll do better". Google. 23. 2. 2024. Pristupljeno 11. 3. 2026.
  22. 1 2 Athaluri, Sai Anirudh; Manthena, Sandeep Varma; Kesapragada, V. S. R. Krishna Manoj; Yarlagadda, Vineel; Dave, Tirth; Duddumpudi, Rama Tulasi Siri (2023). "Exploring the Boundaries of Reality: Investigating the Phenomenon of Artificial Intelligence Hallucination in Scientific Writing Through ChatGPT References". Cureus. 15 (4): e37432. doi:10.7759/cureus.37432. PMC 10173677 Provjerite vrijednost parametra |pmc= (pomoć). PMID 37182055 Provjerite vrijednost parametra |pmid= (pomoć).
  23. ↑ Goddard, Jerome (2023). "Hallucinations in ChatGPT: A Cautionary Tale for Biomedical Researchers". The American Journal of Medicine. 136 (11): 1059–1060. doi:10.1016/j.amjmed.2023.06.012. PMID 37369274 Provjerite vrijednost parametra |pmid= (pomoć).
  24. ↑ Else, Holly (2023). "Abstracts written by ChatGPT fool scientists". Nature. 613 (7944): 423. doi:10.1038/d41586-023-00056-7. PMID 36635510 Provjerite vrijednost parametra |pmid= (pomoć).
  25. ↑ Gao, Catherine A.; Howard, Frederick M.; Markov, Nikolay S.; Dyer, Emma C.; Pearson, Alexander T. (2023). "Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers". npj Digital Medicine. 6 (1): 75. doi:10.1038/s41746-023-00819-6. PMC 10133283 Provjerite vrijednost parametra |pmc= (pomoć). PMID 37100871 Provjerite vrijednost parametra |pmid= (pomoć).
  26. ↑ Teel, Zoë Abbie; Wang, Ting; Lund, Brady (2023). "ChatGPT conundrums: Probing plagiarism and parroting problems in higher education practices". College & Research Libraries News. 84 (6). doi:10.5860/crln.84.6.205.
  27. 1 2 Walters, William H.; Wilder, Esther I. (2024). "Fabricated references in ChatGPT-generated college essays: An exploratory analysis of referencing behavior". Journal of Academic Librarianship. 50 (2): 102882. doi:10.1016/j.acalib.2024.102882.
  28. ↑ "AI Detectors Don't Work. Here's What to Do Instead". MIT Sloan Teaching & Learning Technologies. Pristupljeno 11. 3. 2026.
  29. ↑ "New AI classifier for indicating AI-written text". OpenAI. 13. 3. 2024. Pristupljeno 11. 3. 2026.
  30. ↑ Xu, Ziwei; Jain, Sanjay; Kankanhalli, Mohan (2024). "Hallucination is Inevitable: An Innate Limitation of Large Language Models". arXiv:2401.11817 [cs.CL].
  31. ↑ De Vynck, Gerrit (30. 5. 2023). "ChatGPT 'hallucinates.' Some researchers worry it isn't fixable". The Washington Post. Pristupljeno 11. 3. 2026.
  32. ↑ Leswing, Kif (25. 4. 2023). "Nvidia has a new way to prevent A.I. chatbots from 'hallucinating' wrong facts". CNBC. Pristupljeno 11. 3. 2026.
  33. ↑ Xing, Wei (12. 9. 2025). "Why OpenAI's solution to AI hallucinations would kill ChatGPT tomorrow". The Conversation. Pristupljeno 11. 3. 2026.
Preuzeto iz "https://bs.wikipedia.org/w/index.php?title=Halucinacija_(umjetna_inteligencija)&oldid=3890943"