Leslie M (2025) Chinese AI Model Shocks the World—What Comes Next? Engineering 53, 3-5 – https://doi.org/10.1016/j.eng.2025.07.009 – open access article pdf

V nadaljevanju podajamo kratek povzetek prispevka, ki je izšel v reviji Engineering v rubriki News & Highlights o modelu umetne inteligence R1 podjetja DeepSeek.

Vpliv na trg in pretres v industriji

• “Šok”: 27. januarja 2025 je kitajsko zagonsko podjetje DeepSeek izdalo nov model umetne inteligence za sklepanje (reasoning model), imenovan R1.
• Finančne posledice: Objava je sprožila množično razprodajo v tehnološkem sektorju.
  • Nvidia: Delnice so padle za 17 %, kar je izbrisalo 589 milijard USD vrednosti (največji padec v enem dnevu v zgodovini).
  • Širši vpliv: Padle so tudi delnice drugih tehnoloških velikanov (Meta, Alphabet) in energetskih podjetij (Constellation Energy).
• Strahovi vlagateljev: Trg se je odzval na možnost, da bodo prihodnji modeli AI manjši, cenejši in manj odvisni od ogromne porabe električne energije ter vrhunske strojne opreme.

Operativna učinkovitost in stroški

• Več z manj: DeepSeek R1 je dosegel ali presegel zmogljivost zahodnih tekmecev (kot je OpenAI o1), kljub bistveno manjšim zahtevam po virih.
• Strojne omejitve: Zaradi izvoznih omejitev ZDA DeepSeek ni mogel uporabiti najnaprednejših grafičnih procesorjev Nvidia H100. Namesto tega so uporabili starejše čipe H800.
  • Primerjava: DeepSeek je za urjenje osnovnega modela (V3) uporabil približno 2.000 grafičnih procesorjev H800, medtem ko je Meta za primerljiv model uporabila 16.000 procesorjev H100.
• Razlika v stroških: DeepSeek je poročal, da je za urjenje osnovnega modela V3 porabil le ~6 milijonov USD. Nasproti temu ocene za urjenje konkurenčnih ameriških modelov segajo od 100 milijonov do 1 milijarde USD.

Tehnične inovacije in odprtost

• Veliki modeli za sklepanje (angl. Large reasoning model – LRM): R1 je model LRM, zasnovan za “razmišljanje” skozi probleme, zaradi česar je pri zapletenih nalogah, kot sta matematika in programiranje, boljši od standardnih velikih jezikovnih modelov (angl. Large language model – LLM).
• Odprtokodna strategija: Za razliko od mnogih zahodnih konkurentov je DeepSeek objavil prednatis članka (preprint), izdal izvorno kodo in brezplačno ponudil uteži modela (model weights).
• Nova metoda urjenja: DeepSeek je spremenil standardni postopek urjenja.
  • Brez človeških povratnih informacij: Namesto uporabe spodbujevalnega učenja s človeškimi povratnimi informacijami (angl. Reinforcement learning from human feedback – RLHF) je bil R1 urjen z uporabo problemov z znanimi rešitvami, ki so jih ocenjevali algoritmi.
  • Vmesni žetoni: Model ustvarja “vmesne žetone” (intermediate tokens) za procesiranje svojega sklepanja, preden poda končni odgovor.

URL: https://www.sciencedirect.com/science/article/pii/S209580992500373X