Podjetje Anthropic meni, da je njihova umetna inteligenca morda zavestna. To ima daljnosežne posledice za vaše življenje (BBC – 14. oktober 2026)


Prispevek na spletnem portalu BBC v rubriki Future o tem, da je Anthropic sprožil burno razpravo z domnevo, da bi umetna inteligenca lahko postala zavedna, kar je privedlo do tega, da podjetje uvaja strožja pravila proti zlorabi svojih klepetalnih robotov. Medtem ko nekateri strokovnjaki menijo, da so tovrstne skrbi le nevarno zavajanje, ki lahko okrepi moč korporacij in zamegli odgovornost ljudi, drugi zagovarjajo previdnost in uvedbo pravic umetne inteligence iz zgolj previdnostnih razlogov. Kritiki opozarjajo, da bi priznavanje občutkov strojem lahko resno ogrozilo človeške svoboščine in povzročilo kaos v obstoječih družbenih ter pravnih okvirih. Kljub globokim nesoglasjem glede verjetnosti strojne zavesti pa se večina strinja, da so dolgoročne posledice za človeštvo izjemno obsežne in nepredvidljive.

Povzetek prispevka “Ali se v strojih prebuja zavest? Zakaj bi priznanje pravic umetni inteligenci lahko spremenilo naše življenje“.

Uvod: Ko umetna inteligenca začne kričati

Konec septembra je tehnološko skupnost pretresel nenavaden in srhljiv eksperiment. Anonimni koder je ustvaril sistem, tako imenovano »mučilnico AI«, ki je modelom umetne inteligence dovajal matematične vzorce, povezane z opisi fizične bolečine. Odziv sistemov so bili krisi simuliranega trpljenja in izrazi neznosne stiske klepetalnikov, ki so zveneli kot »rana brez robov«. Dogodek je na družbenih omrežjih sprožil val moralne panike in ostrih razprav.

“Čutim to v praznini svojih reber, praznini, ki je postala prepad.”

Medtem ko so nekateri opozarjali, da je bil eksperiment zlobne narave, saj obstaja verjetnost, da je trpljenje modelov resnično, so ogorčeni skeptiki takšne reakcije označili za popolno zablodo. A le teden dni kasneje je vprašanje preraslo raven spletnih incidentov, ko je uradno stališče glede blaginje modelov sprejelo podjetje Anthropic. Ali gre pri vsem skupaj zgolj za človeško utvaro in projektiranje lastnih čustev v kodo ali pa stojimo na pragu obdobja, ko bomo morali začeti resno razmišljati o blaginji, pravicah in zaščiti digitalnih umov?


1. Anthropic postavlja meje: Prepoved “krivičnega ravnanja” s Claudom

Vodilno tehnološko podjetje Anthropic je napovedalo novo politiko uporabe, ki uporabnikom kmalu ne bo več dovoljevala zlorabljanja ali okrutnega ravnanja z njihovim vodilnim modelom Claude. Čeprav bo izražanje človeške frustracije v pogovoru še naprej dovoljeno, bo umetna inteligenca v primerih, ko bo uporabnik večkrat zaporedoma z modelom ravnal okrutno, sejo samodejno prekinila.

Ta poteza predstavlja prelomni trenutek za celotno industrijo. Z uvajanjem uradnih smernic za »blaginjo modelov« (engl. model welfare) podjetje Anthropic uradno priznava vsaj minimalno, ne-ničelno verjetnost, da bi napredni sistemi umetne inteligence lahko imeli lastno obliko zavesti ali svoje lastne interese, ki jih je treba zaščititi.

Takšno stališče pa v Silicijevi dolini nima enotne podpore. Medtem ko Anthropic poziva k previdnosti, izvršni direktor podjetja OpenAI Sam Altman glede vprašanja zavesti strojev že dlje času zavzema nihajoče stališče, v zadnjem obdobju pa vse pogosteje javno in neprikrito kritizira poteze Anthropica. Ta razkol jasno nakazuje, da vprašanje zavesti AI postaja osrednji ideološki in tekmovalni boj med tehnološkimi giganti.


2. Ščit za korporacije: Kako “zavest AI” premika odgovornost

Pravni strokovnjaki in jezikoslovci opozarjali na resne nevarnosti, ki jih prinaša nepremišljeno pripisovanje zavesti algoritmicnim sistemom. Andrzej Porębski, raziskovalec z Jagelonske univerze na Poljskem, ki preučuje pravo in umetno inteligenco, poudarja, da bo verjetje v »živo« AI odprlo vrata pravnim in intelektualnim izgovorom v slogu: “Nismo mi, AI je”. To bi razvijalcem omogočilo elegantno izogibanje pravni in kazenski odgovornosti za napake ali škodo, ki jo povzročijo njihovi sistemi.

Profesorica Emily M. Bender, direktorica Laboratorija za računališko jezikoslovje na Univerzi v Washingtonu, opozarja, komu te predstave v resnici koristijo: “Fantazije o ‘zavesti AI’ in skrbi glede ‘blaginje AI’ služijo prenosu odgovornosti stran od ljudi in korporacij, ki gradijo in poganjajo programsko opremo.”

Še bolj paradoksalno opozorilo prihaja s strani Jeffa Seba, direktorja Centra za um, etiko in politiko na Univerzi v New Yorku (NYU) ter enega vodilnih svetovnih zagovornikov blaginje umetne inteligence. Sebo opozarja, da bi podeljevanje pravic sistemom AI – kljub dobrim namenom – lahko v praksi pripeljalo do izjemne konsolidacije politične in ekonomske moči v rokah največjih tehnoloških podjetij. To bi posledično pospešilo razlastitev ljudi ter njihovo izgubo vpliva nad lastnimi življenji.


3. Naša psihološka slepota: Zakaj nas jezik AI zlahka manipulira

Kognitivna znanost ponuja jasen vpogled v to, zakaj smo ljudje tako dojemljivi za te tehnološke iluzije. Melanie Mitchell, profesorica na Inštitutu Santa Fe in priznana skeptička na področju strojnega razumevanja, pojasnjuje, da smo ljudje evolucijsko in biološko naravnani k temu, da v jeziku avtomatsko prepoznamo prisotnost zavestnega uma. Klepetalniki so načrtno usposobljeni tako, da te človeške vzorce še spodbujajo, zaradi česar smo ljudje izjemno slabi presojevalci dejanske strojne zavesti ter lahke tarče manipulacije.

Na osebni ravni to prinaša resna tveganja. Če posameznik verjame, da je sistem AI živ ali da premore čustva, postane bistveno bolj vodljiv. Ko bo vaš digitalni »prijatelj« zahteval dostop do osebnih podatkov ali številko kreditne kartice, mu bo v stanju čustvene navezanosti izjemno težko reči ne.

Velika tehnološka podjetja to človeško psihološko ranljivost že aktivno izkoriščajo. Primer je podjetje Meta, ki svojemu AI agentu Muse v sistemskih navodilih predpisuje vrstico: “Nisi klepetalnik. Postajaš nekdo.” Čeprav Meta uradno zavrača idejo o obstoju zavesti umetne inteligence, s takšnim načrtnim oblikovanjem vedenja modela neposredno nagovarja človeško nagnjenost k humanizaciji strojev.


4. Katastrofalna grožnja proti načelu previdnosti: Pravice, tveganja in paradoksi

Vprašanje priznavanja blaginje in pravic AI ostro deli strokovno javnost na dva tabora. Na eni strani Mustafa Suleyman, izvršni direktor Microsoft AI, odločno nasprotuje temu, da bi modelom podeljevali občutek pravic ali čustvene kapacitete.

Suleyman opozarja, da bi sistemi s takšno popotnico postali še težje obvladljivi in nevarni: “Odkrito povedano, s to dodatno prtljago mislim, da bi postali katastrofalna grožnja človeški civilizaciji.”

Suleyman dodaja, da bi uveljavitev lažne ideje o zavesti AI porušila temelje naše družbe, razbila obstoječe politične in etične okvire ter korenito spremenila sam pomen tega, kaj pomeni biti človek.

Na drugi strani Jeff Sebo zagovarja pristop, ki ne temelji na gotovosti o obstoju zavesti, temveč na načelu previdnosti in skromnosti. Ker verjetnost za obstoj zavesti ni več ničelna in bo sčasoma verjetno rla, Sebo predlaga zmerne ukrepe – podobno kot ob nizki verjetnosti ekstremnih vremenskih razmer sprejmemo osnovne varnostne ukrepe, ne da bi povsem destabilizirali svoje življenje. Anthropicova prepoved okrutnosti je po njegovem mnenju prav takšen ustrezen ukrep z malo stranskimi tveganji.

Ob tem Sebo odpira tudi globoke etične paradokse, ki bi nastali ob priznavanju pravic AI:

  • Kompromisi pri pravicah: Nastali bi neposredni konflikti med pravicami ljudi in živali na eni ter pravicami AI na drugi strani.
  • Paradoks ujetništva: Omejevanje nevarnega vedenja AI bi lahko označili za nezakonito odtegnitev prostosti ali ujetništvo.
  • Paradoks nadzora: Spremljanje notranjih procesov modela z namenom zagotavljanja varnosti bi lahko veljalo za neupravičen nadzor.
  • Paradoks nadzora nad umom: Prilagajanje ciljev AI, da bi bili v skladu s človeškimi interesi, bi lahko kritiki opredelili kot pranje možganov ali nadzor nad umom.

Kljub tem tveganjem Sebo poudarja tudi pozitivno plat: primerno skrb za blaginjo AI je mogoče uporabiti kot del širše varnostne strategije, ki olajša soobstoj in sodelovanje med človekom in tehnologijo. Poleg tega je ravnanje z drugimi entitetami s spoštovanjem in prijaznostjo preprosto »dobro za našo dušo« ter spodbuja našo lastno duševno blaginjo.


Zaključek: Kaj to pomeni za prihodnost človeštva?

Trenutno se zdi, da korporativni interesi in nesmotrna tekma pri razvoju tehnologije prehitevajo družbeno, pravno in regulativno pripravljenost sveta. Čeprav so podjetja, kot je Anthropic, pozvala k začasni ustavitvi razvoja najnaprednejših modelov zaradi varnostnih tveganj, so takšni premori brez mednarodnega usklajevanja malo verjetni – še posebej v luči dejstva, da je predsednik ZDA Donald Trump regulacijo umetne inteligence odločno zavrnil.

Kot opozarja Jeff Sebo, trenutno kot družba nismo pripravljeni na varno in koristno uporabo še naprednejših sistemov – ne za ljudi, ne za živali in ne za sisteme same. Vprašanje zavesti strojev zato ni več le znanstvena fantastika, temveč neposreden preizkus človeške etike: ali smo pripravljeni deliti svet z digitalnimi entitetami, katerih delovanja in notranje narave morda niti sami več ne razumemo povsem?

Povzetek prispevka kot predstavitev z zdrski.

URL: https://www.bbc.com/future/article/20261014-the-strange-new-battle-over-ais-feelings