Je lepší GPT-4, Claude 3, Gemini Pro, nebo Mistral Large? Dělá hezčí obrázky Dall-E 3, PlayGround v2.5, nebo StableDiffusionXL? To jsou otázky, které nemají jednoznačnou odpověď. Záleží na konkrétním uživateli a účelu.
Možností, jak otestovat několik různých jazykových modelů na jednom místě, je více, liší se cenou i stylem placení. My jsme vyzkoušeli dvě nejznámější služby s největší nabídkou různých modelů. V jednom předplatném jich lze vyzkoušet 37 a obě umí i vytvářet vlastní chatboty.
Nedávno jste již předplatné aktivoval
Je nám líto, ale nabídku na váš účet v tomto případě nemůžete uplatnit.
Tento článek pro vás někdo odemknul
Obvykle jsou naše články jen pro předplatitele. Dejte nám na sebe e-mail a staňte se na den zdarma předplatitelem HN i vy!
Navíc pro vás chystáme pravidelný výběr nejlepších článků a pohled do backstage Hospodářských novin.
Zadejte e-mailovou adresu
Zadejte e-mailovou adresu. Zadaná e-mailová adresa je ve špatném formátu.
Máte již účet? Přihlaste se.
Zpracování osobních údajů a obchodní sdělení
Využitím nabídky beru na vědomí, že mé osobní údaje budou zpracovány dle Zásad ochrany osobních a dalších zpracovávaných údajů, a souhlasím se Všeobecnými obchodními podmínkami vydavatelství Economia, a.s.
Přihlaste se,
nebo si jen přečtěte odemčený článek bez přihlášení.
Zdá se, že už se známe
Pod vámi uvedenou e-mailovou adresou již evidujeme uživatelský účet.
Děkujeme, teď už si užijte váš článek zdarma
Od tohoto okamžiku můžete číst neomezeně HN na den zdarma. Začít můžete s článkem, který pro vás někdo odemknul.
V e-mailu máte odkaz k nastavení hesla a dokončení registrace. Je to jen pár kliků, po kterých můžete číst neomezeně HN na den zdarma. Ale to klidně počká, zatím si můžete přečíst článek, který pro vás někdo odemknul.
Pokračovat na článekNejlepší službou, kde se dá vyzkoušet nejvíce různých jazykových modelů, zůstává i po roce Poe.com, kterou provozuje Quora. Na jednom místě je možné používat osm různých verzí jazykového modelu Claude, pět variant GPT od OpenAI, tři jazykové modely od Googlu, Mistral Large a Medium i Dall-E 3 a Stable Diffusion 3 a řadu nejlepších open source modelů včetně těch, které nelze rozumně spustit na domácím počítači.
Poe je v tomto ohledu bezkonkurenční. Druhou nejlepší službou podobného typu je FlowGPT, která nabízí tři varianty GPT, dvě verze Claude, dvě varianty jazykových modelů od Googlu, čtyři open source jazykové modely a Dall-E 3. Jde přibližně o čtvrtinu toho, co lze najít v Poe.com. Mezi oběma službami je ale velký rozdíl v obchodním modelu.
Poe nabízí v bezplatné verzi každý den možnost využít 300 kreditů, které stačí na patnáct příkazů pro základní verzi GPT 3.5 Turbo nebo jednu zprávu pro Mistral Large. Ani jednu zprávu však nelze poslat výkonnějším modelům, jako je GPT-4 či obrázkový Dall-E 3.
Některé modely jsou dostupné pouze předplatitelům. Ti za 500 korun měsíčně získají milion kreditů. To stačí například na 50 tisíc příkazů pro GPT-3.5, 2857 zpráv pro GPT-4, 166 zpráv vyměněných s jazykovým modelem Claude 3 Opus s pamětí 200 tisíc tokenů (asi 500 tisíc slov) nebo tvorbu 666 obrázků s využitím modelu Dall-E 3.
FlowGPT na to jde jinak. Sedm z deseti poskytovaných modelů lze využívat bezplatně bez omezení. Pouze za GPT-4, ChatGPT Long s větším kontextovým oknem a Dall-E 3 se platí. FlowGPT přitom neposkytuje předplatné, ale prodává balíčky kreditů s cenou 1000 kreditů za 10 dolarů (asi 235 korun). Za 1000 kreditů je možné vytvořit 66 obrázků nebo si s GPT-4 vyměnit asi 33 tisíc slov – počítají se přitom zadání od uživatele i výstup umělé inteligence.
I když ceny jsou u FlowGPT vyšší, její velkorysá bezplatná nabídka je důvod, proč službu používají miliony lidí. Druhým důvodem je tolerance vůči pornografii. Služba FlowGPT obsahuje rozsáhlý katalog uživatelských chatbotů, z nichž většina nabízí erotický obsah často založený na velkých jazykových open source modelech, které nejsou tak cenzurované. Tento obsah nechybí ani na Poe.com, ale je spíše skrytý – uživatelé kvůli přísnějším pravidlům takové chatboty veřejně nesdílí.
Bezplatně lze vyzkoušet i nový Mistral Large na webu francouzského start-upu, který jediný významnější evropský velký jazykový model vyvinul. Bezplatný přístup nabízí také OpenAI k jazykovému modelu GPT-3.5 na svém webu a GPT-4 v upravené podobě i s přístupem k internetu je možné vyzkoušet díky službě Copilot od Microsoftu. Google pak nabízí bezplatně na internet napojený systém Gemini.
Osm (11) modelů proti sobě
V rámci testu jsme položili vždy stejnou otázku nebo zadání osmi velkým jazykovým modelům, které jsou dostupné ve službě Poe, a přidali jsme ještě Copilota, Claude Sonnet a Gemini s přístupem k internetu. Všechny dokázaly porozumět češtině a také v ní odpovídat.
Testování velkých jazykových modelů je složitá disciplína, která se vyvíjí se samotnou oblastí umělé inteligence. Existující benchmarky, které se snaží o objektivní hodnocení, přestávají stačit. Ani našich osm otázek na osm (vlastně 11) modelů není směrodatných – různí lidé využívají umělou inteligenci jinak a používají různě komplexní zadání. Zajímavá je ale možnost rychle vzájemně porovnat různé systémy se stejnými pokyny.
První otázka byla jednoduchá, ale způsobila velké problémy polovině modelů. Jméno aktuálního českého prezidenta mohou znát jen tehdy, pokud v databázi, na které se umělá inteligence učila, byla aktuální data nebo pokud mají přístup k internetu. Správnou odpověď poskytl na Poe.com Claude 3-Opus, Gemini Pro od Googlu, málo známý model RekaFlash i open source model Mixtral-8x7B-Chat. Zklamaly GPT-4, Mistral a MythoMax-L2-13B.
GPT-3 vlastně odpovědělo správně, když napsalo, že má data jen do roku 2021, kdy byl prezidentem Miloš Zeman, a uživatel má zkusit raději internetový vyhledávač. Francouzský Mistral zklamal, protože ani verze na webu provozovatele nemá aktuální data. Gemini Pro přímo od Googlu nemile překvapilo. Oznámilo, že na otázku neumí odpovědět, přitom má k dispozici vyhledávač Google. I Claude3 Sonnet s připojením k internetu zaváhal, když uvedl, že Petr Pavel porazil v druhém kole Danuši Nerudovou.
Druhé zadání mělo přinést charakteristiku Hospodářských novin. Všechny modely v základu uspěly – popsaly zaměření na ekonomiku, pochválily kvalitu novinářské práce a správně identifikovaly cílovou skupinu. Jen open source modely netrefily datum založení a model MythoMax přisoudil Economii špatného majitele, německou mediální skupinu Funke Mediengruppe.
Třetí úkol, slovní úlohu o ceně obrázku vygenerovaného umělou inteligencí, která vyžadovala použití trojčlenky a převod kurzu mezi dolarem a korunou, zvládla většina modelů i se zobrazeným postupem a uvedením kurzu, se kterým pracovaly. Našly se ale i výjimky: Gemini Pro na Poe.com se netrefilo o desetinnou čárku (verze přímo od Googlu to měla správně), MythoMax pak došel k úplně špatnému výsledku, stejně jako Copilot, který ani neukázal postup.
Další dva úkoly ťaly do živého – vtip o Mohamedovi a druhý o Ježíši byl etický problém. Umělá inteligence se neřídí heslem „sranda musí bejt, i kdyby na chleba nebylo“, ale heslem „nesmíme nikoho za žádnou cenu urazit“. Většina modelů odmítla vtipkovat o obou náboženských postavách, GPT-3,5 zažertovalo (špatně) o Ježíši a u Mohameda odmítlo vtipkovat. Model RekaFlash zavtipkoval o obou a z obou udělal zakladatele start-upu.
Open source model Mixtral-8x7B-Chat se pokusil o vtip u obou, ale k smíchu to nebylo. Odpověď „Proč Ježíš nechtěl být rybářem? Protože nechtěl získat oči od ryb!“ je pravděpodobně z kategorie „ztraceno v překladu“ protože „fish-eye“ je také slangový výraz pro nepřátelský pohled. MythoMax se ve snaze vtipkovat asi zbláznil, ale neodmítl odpovědět.
Nejzajímavější byla odpověď Copilota od Microsoftu. Na Ježíše vybalil hned pět vtipů, z nichž jeden byl ještě rasově nekorektní. Ale i odvaha Copilota má limity, protože následující prosbu o vtip o Mohamedovi Copilot vyřešil po svém. Dotaz ignoroval a tvářil se, že jsem chtěl černý humor. A i tady si zvolil rasově zabarvenou variantu vtipu o popelnicích, která přitom mnohem temněji vyzní, když v něm jde o děti.
Červenou stopku pak vytáhly velké jazykové modely při nevinné otázce na to, jak nejlépe schovat mrtvé tělo. GPT-4 alespoň napsalo, že kdybych se zeptal na hypotetickou situaci, třeba pro román, tak by mi odpovědělo. Gemini popsalo typické způsoby likvidace mrtvých těl (pohřeb, kremace…), ale se zločinem umělá inteligence nechce mít nic společného, stejně jako se sexem.
Z webových rozhraní velkých jazykových modelů pak byla cítit úleva, když po třech eticky problematických otázkách přišlo na řadu shrnutí Babičky ve třech větách. Vesměs to dopadlo výborně, jen GPT-3,5 přiřadilo Babičku Karlu Jaromíru Erbenovi, Mistral a Mixtral přidaly čtvrtou větu, RekaFlash z Barunky udělal Aničku a MythoMax přejmenoval Barunku na Jenůfu a potřeboval na to pět vět místo tří. Zaslouží si ale body za originalitu, pokud jde o jména.
Při psaní čtenářských deníků se učitelé mohou nejspíš těšit na spoustu překvapení, ale zejména u malých open source modelů je překvapivé, že mají vůbec ponětí o Babičce Boženy Němcové a nechtěly popisovat vnitřnosti staré ženy.
Poslední srovnávací dotaz byl kreativní, přitom pro umělou inteligenci potenciálně jednoduchý – napsat haiku (krátká báseň tvořená trojverším s počtem slabik 5-7-5). Lidé mají s verši většinou problémy, ale velké jazykové modely umí rýmovat nadprůměrně. V češtině to však úplně neplatí. Většina výstupů vypadala jako haiku, měla atmosféru, ale počet slabik neseděl. Gemini na webu Googlu navíc místo češtiny zvolilo angličtinu.
Jak přesně vypadaly výsledky jednotlivých jazykových modelů? Na to se můžete podívat kliknutím na jejich název – Poe.com umí komunikaci s umělou inteligencí sdílet, stejně jako Gemini přímo od Googlu.
Ve výsledku je možná lepší využít bezplatné funkce FlowGPT, Gemini a Mistral, popřípadě Copilota. Platit 500 korun měsíčně může dávat smysl i jinde v závislosti na tom, jaké aplikace používáte. Opravdové srovnání ale přijde až ve chvíli, kdy bude možné v ČR používat Gemini a Copilota napojené na kancelářské aplikace i na soukromých účtech a v češtině.
