Liu S et al. (2025) Rethinking machine unlearning for large language models. Nature Machine Intelligence 7, 181-194 –
Liu S, Yao Y, Jia J et al. (2025) Rethinking machine unlearning for large language models. Nature Machine Intelligence 7, 181–194 – https://doi.org/10.1038/s42256-025-00985-0
Abstract (povzetek)
Raziskujemo strojno odvajanje (angl. unlearning – obratni proces učenju) na področju velikih jezikovnih modelov (angl. Large language model – LLM), imenovano LLM razvajanje. Ta pobuda ima za cilj odpraviti neželen vpliv podatkov (na primer občutljive ali nezakonite informacije) in z njimi povezane zmogljivosti modelov, hkrati pa ohraniti celovitost ustvarjanja bistvenega znanja in ne vplivati na informacije, ki niso vzročno povezane. Predvidevamo, da bo strojno odvajanje velkih jezikovnih modelov postalo ključni element v upravljanju njihovega življenjskega cikla in bo potencialno predstavljalo bistveno podlago za razvoj generativne umetne inteligence (angl. Generative artifical intelligence – GenAI), ki bo ne le varna, zanesljiva in zaupanja vredna, ampak tudi učinkovita z vidika virov, brez potrebe po popolnem ponovnem usposabljanju. Raziskujemo področje strojnega odvajanja (pozabljanje) v velikih jezikovnih modelih od konceptualne formulacije, metodologij, meril in uporab. Zlasti poudarjamo pogosto spregledane vidike obstoječih raziskav o strojnem odvajanju (pozabljanju) velikih jezikovnih modelov, na primer obseg pozabljanja, interakcijo med podatki in modelom ter večstransko oceno učinkovitosti. Povezujemo tudi strojno odvajanje (pozabljanje) velikih jezikovnih modelov in sorodna področja, kot so urejanje modelov, vplivne funkcije, razlaga modelov, nasprotno usposabljanje in okrepljeno učenje. Poleg tega opisujemo učinkovit okvir za oceno strojnega odvajanje (pozabljanja) velikih jezikovnih modelov in raziskujemo njegovo uporabo na področju zaščite avtorskih pravic in zasebnosti ter zmanjševanja sociotehničnih škode.