AI výrazně zlevňuje. Výzkumníkům na Stanfordské univerzitě stačilo na vytrénování nového modelu 50 dolarů

Když před nedávnem přišel s AI modelem DeepSeek stejnojmenný čínský start-up, vzbudil na trzích pozdvižení a v Silicon Valley paniku. Číňané totiž tvrdili, že dokázali model umělé inteligence vytrénovat zhruba za šest milionů dolarů a s nižším výpočetním výkonem v porovnání například s modelem o1 od Open AI. Analytici tehdy hovořili o „Sputnik momentu“ pro americké technologické firmy, které za rozvoj AI neváhají utrácet miliardy dolarů ročně. 

Vědci ze Stanfordské a Washingtonské univerzity teď ukázali, že trénovat AI jde ještě levněji a rychleji. Zvládli to za necelou půlhodinu a stačilo jim k tomu 50 dolarů. Jejich model S1 přitom dosahuje srovnatelných výsledků jako o1 od Open AI nebo R1 od DeepSeeku.

Vědecký tým ve svém reportu uvedl, že model dokáže být konkurenceschopný například v kódování nebo při řešení matematických úloh. „S1 je výkonem srovnatelný s DeepSeek-r1 a o1 na benchmarku MATH500, který zahrnuje různé matematické slovní úlohy. Na jiných benchmarcích, jako je GPQA Diamond (biologie, chemie, fyzika), už si nevede zas tak dobře,“ popsal HN odborník na jazykové modely Ondřej Dušek z Ústavu formální a aplikované lingvistiky Karlovy univerzity.

První dojmy

Čínský průlom do AI: Přemýšlivý DeepSeek sebral Nvidii 600 miliard dolarů za den. A může být i jinak nebezpečný

29. 1. 2025 ▪ 7 min. čtení

Model S1 je založený na open source modelu Qwen 2.5 od čínské společnosti Alibaba Cloud. K jeho vytrénování použili vědci metodu takzvané destilace, což je proces, který umožňuje menším modelům čerpat z odpovědí, které vytvořily větší modely. Umělou inteligenci vědci ze Stanfordu trénovali pomocí odpovědí od AI modelu Googlu. Podobným způsobem minulý měsíc vytrénovali umělou inteligenci vědci z Kalifornské univerzity v Berkley, kterým se to povedlo za 450 dolarů. Mimochodem společnost Open AI podezřívá čínský DeepSeek, že podobnou metodu využil i k trénování svého modelu a zneužil při tom její umělou inteligenci.

I když samotné vytrénování mohlo stát 50 dolarů, Ondřej Dušek upozorňuje, že základní trénink AI modelu Qwen 2.5 byl mnohem dražší. Oceňuje ale jednoduchost přístupu vědců ze Stanfordské a Washingtonské univerzity. Ti původně zkoušeli model trénovat na datasetu 59 tisíc otázek, což nepřineslo velké výsledky. Nakonec jejich počet snížili na tisíc převážně matematických otázek. Výzkumníci navíc model vylepšili tím, že mu umožnili díky úpravě algoritmu generování déle přemýšlet nad odpovědí. S1 má kvůli tomu více času zkontrolovat odpovědi a případně odstranit chyby.

„Samotná velikost modelu je také pozitivní. DeepSeek-r1 používá ve své nejlepší variantě 671 miliard parametrů (čísel v různých funkcích maticového násobení v rámci neuronové sítě), s1 jen 32 miliard. Tím pádem s1 se vejde do paměti jedné výpočetní grafické karty, zatímco na spuštění největšího r1 potřebujete minimálně nějaký velký server,“ vysvětluje Ondřej Dušek.

Vědci ve svém článku tvrdí, že k vytrénování modelu použili jen 16 grafických karet H100 od společnosti Nvidia. Podle Ondřeje Duška ale nejde o revoluci. Model S1 považuje spíše za zajímavý evoluční pokrok. „Hlavně vzhledem k otevřenosti, jednoduchosti a efektivitě toho přístupu,“ doplňuje.

Model S1 by tak neměl mít na trhy stejný dopad jako čínský DeepSeek, který vyvolal na burze paniku, což vedlo k výprodeji akcií řady technologických společností. Nejvíce to odnesla Nvidia, když se její tržní kapitalizace za jediný den smrskla o 600 miliard dolarů. „Aktuální vývoj na trzích nezpůsobuje paniku jako po představení modelu DeepSeek. Přijde mi to logické i s přihlédnutím k tomu, že se jedná o další ze ‚západních‘ modelů. Model výzkumníků ze Stanfordu může podobně jako DeepSeek zlepšit efektivitu a zvýšit dostupnost aplikace AI, což posune celý trh dále. Jako významnou hrozbu pro amerických big tech ho nevnímám,“ uvedl pro HN analytik XTB Tomáš Cverna.