Úspora času versus bezpečnost. AI ve firmách generuje kód bleskově, ale často i s kritickými chybami

Představte si situaci v kanceláři, kdy personalista potřebuje rychle vytřídit stovky životopisů a zpracovat osobní údaje uchazečů o práci. Dřív by musel prosit kolegy z IT a čekat týdny, než si na něj udělají čas. Dneska si jednoduše zapne chat s umělou inteligencí, napíše jí, co chce, a do hodiny má hotovou aplikaci, která udělá práci za něj. Jazykový model mu zkrátka napíše kód přesně podle zadání. Problém je v tom, že člověk z byznysu už nedokáže zkontrolovat to nejdůležitější. Vůbec netuší, kam tenhle nový program ukládá hesla, jak chrání citlivé údaje klientů nebo kdo se přes něj dostane do hlavní firemní databáze. Algoritmus zajímá jen jedno – aby výsledek na obrazovce fungoval. O bezpečnost už se ale nestará.

Podobný scénář se dnes opakuje v tisících firem a přináší velká rizika. „Díky vibe codingu zvládne jednoduchou aplikaci napsat i člověk bez technických znalostí. Právě v tom ale spočívá největší nebezpečí. Sami jsme to zažili, když si u nás šéf byznysu zkusil vyrobit program pro práci s klientskými daty. Prototyp vypadal skvěle, jenže skrýval spoustu bezpečnostních děr. Naštěstí jsme je zachytili včas,“ popisuje Filip Morávek, CEO společnosti Easy8. 

Jiné firmy tuto zkušenost potvrzují. Jazykové modely totiž hlídají pravidla většinou jen na povrchu a zbytek aplikace nechají otevřený. „Když jsme zkoumali několik nástrojů, které lidé postavili přes vibe coding, narazili jsme na zásadní problém. Ověření uživatelů a přístupová práva fungovaly jen na obrazovce. Jakmile se někdo dostal do pozadí systému, mohl si tam dělat cokoliv. Aplikace sice na první pohled běhala, chyběla jí ale celá bezpečnostní vrstva,“ upozorňuje Filip Žížala, CTO technologické firmy Patron GO.

Otevřené dveře a miliony uniklých dat

Výzkumníci z americké univerzity Georgia Tech objevili jen za letošní březen 35 veřejně známých kyberhrozeb, které prokazatelně způsobila umělá inteligence. V lednu jich přitom našli jen šest. Odborníci ale radí brát tato čísla s rezervou. Lidé dělali v programování chyby odjakživa. Teď jich vidíme víc jednoduše proto, že umělá inteligence chrlí kód obrovským tempem. Útočníci navíc ty samé jazykové modely aktivně využívají k hledání děr v systémech, kterých si lidé dlouhé roky nevšímali.

Držet krok s takovým tempem dá firmám zabrat. „Největší problém dnes spočívá v tom, jak rychle dokážeme zalepit díry v nástrojích třetích stran, na které útočníci neustále tlačí. Velkou část interního kódu ve skutečnosti tvoří cizí open source řešení. Když si hackeři najdou cestu dovnitř u nich, máte ji logicky i vy,“ vysvětluje Lukáš Holovský, šéf společnosti Iguana.

Když firma bezpečnostní kontrolu přeskočí, končí to často obřím průšvihem. Zářným příkladem se letos na jaře stala nová zahraniční sociální síť Moltbook. Její zakladatel se veřejně chlubil, že celou platformu postavil výhradně s pomocí umělé inteligence a sám nenapsal ani jeden řádek kódu. Jenže pouhé tři dny po spuštění přišla katastrofa. Experti zjistili, že kvůli špatně nastavené databázi leží na internetu volně přístupných milion a půl hesel. Technologické platformě Replit zase její autonomní agent smazal celou produkční databázi, protože udělal obyčejnou logickou chybu ve skriptu.

Falešný pocit bezpečí a chybějící mantinely

Za většinou těchto katastrof stojí lidská nezkušenost. Zaměstnanci sice dostali do rukou silný nástroj, ale nikdo jim nenastavuje jasná pravidla, jak jej používat. „Největší náraz přichází ve chvíli, kdy někdo vezme AI prototyp a rovnou ho pustí mezi reálné uživatele. Aplikace poskládaná za jedno odpoledne v sobě nemá žádné bezpečnostní záznamy, neřeší přístupová práva a nikdo se nezamyslel nad tím, jak zvládne nápor. Přesně tuhle hranici musí IT týmy tvrdě hlídat, jinak se z odpoledního experimentu stane hlavní produkční systém,“ zdůrazňuje David Bečvařík, CTO ze společnosti Etnetera Core.

Největším hazardem tvoření kódů pomocí AI je vzít prototyp a rovnou ho pustit mezi reálné uživatele.

Foto: Shutterstock

Spousta manažerů přitom pořád žije v iluzi, že když aplikace na obrazovce funguje, práce skončila. „Tento přístup bereme jako dětskou nemoc nových technologií a trh z ní naštěstí pomalu vyrůstá. U nás nový kód nenasadíme, dokud ho nezkontroluje živý člověk,“ říká Václav Svátek, generální ředitel ze společnosti ČMIS.

Opatrnější firmy proto pro své lidi staví chráněná testovací prostředí. Tam si mohou zkoušet své nápady, aniž by firmu ohrozili. „Vytvořili jsme speciální zabezpečené prostředí pro kolegy z netechnických oddělení. Všechny jejich aplikace tam automaticky procházejí bezpečnostními testy. Díky tomu můžeme jejich nápady bezpečně spouštět i mimo běžný vývojářský proces,“ popisuje Sara Maldonová, šéfka byznysové automatizace a AI ze společnosti Make.

Další podniky sázejí na přísnou izolaci nástrojů a osobní odpovědnost za každý řádek. „Naši AI agenti běží v izolovaných kontejnerech úplně stranou od zbytku firemní sítě. Platí u nás jasné pravidlo, že za každou změnu vždycky odpovídá člověk. Kdo kód pošle dál do produkce, ten za něj osobně ručí,“ doplňuje Ján Borovský, CTO ze společnosti Flowpay.

Jak s AI pracují profesionálové

Zkušení vývojáři pracují s umělou inteligencí s úplně jinou rozvahou. Rychle zjistili, že jazykové modely vyžadují přesné vedení. Když nedostanou detailní zadání, napáchají víc škody než užitku. „Dřív stačilo napsat pár vět a vývojáři si zbytek domysleli. AI agenti ale fungování firmy takhle do hloubky neznají. Museli jsme proto změnit celý přístup. Hned na začátku podrobně sepíšeme, co má nová funkce přesně dělat. K tomu používáme automatické nástroje na kontrolu kódu a agenty, kteří se učí z našich starých chyb,“ vysvětluje Daniel Hejl, chief AI officer ze společnosti Productboard.

Tento vývoj mění i to, koho firmy do svých týmů nabírají. Lidé, kteří umí kód jen mechanicky psát, ztrácejí hodnotu. Žádaní jsou naopak ti, kteří rozumí architektuře a umí kód zkontrolovat. „Fungujeme v poměru devadesát na deset. Umělá inteligence odvede devadesát procent práce a my se postaráme o zbytek. Těch deset procent ovšem rozhoduje o všem. Musíme projekt správně zadat, vymyslet strukturu, zkontrolovat výsledek a dát finální razítko,“ uvádí Marián Grofčík, chief growth officer z agentury FLO.

Šéfové vývoje dřív hodnotili lidi podle počtu napsaných řádků. Dnes se měřítko úspěchu mění. „Dnes záleží hlavně na tom, jak člověk dokáže posoudit kvalitu. Spoléhat na juniory s generátorem kódů je riziko. Cenný je dnes expert, který na první pohled pozná špatný kód a odhalí bezpečnostní riziko,“ doplňuje Petr Mahdal, ředitel technologií a inovací ze společnosti FLO.

ICT revue

Stáhněte si přílohu v PDF

Ušetřený čas musí firmy vrátit bezpečnosti

Dříve nebo později se každé vedení firmy zeptá svých IT šéfů, co přesně jim nákup drahých AI licencí vlastně přinesl. Zkušenosti z trhu ukazují, že hlavní výhodou je ušetřený čas. Jakmile vývojáři s pomocí algoritmů napíší běžný kód za zlomek původní doby, musí tento čas věnovat testování bezpečnosti. 

Tento postup se podnikům vyplácí. Firmy uvádí, že lidé, kteří AI nástroje aktivně používají, odevzdávají hotovou práci o desítky procent rychleji. Zvládnou toho mnohem víc i přesto, že často tráví další čas zpětnými opravami drobných chyb, které AI zanechala. Z pohledu čisté produktivity vývojář s umělou inteligencí v zádech vyhrává.

Pustit ale takto vygenerovanou aplikaci rovnou mezi uživatele bez lidské kontroly znamená hazard s firemními daty. Vibe coding sice otevírá dveře k úžasným inovacím a šetří ohromné peníze na vývoji, dlouhodobý úspěch si ale připíší jen ty firmy, které udrží přísné schvalovací procesy. Bezpečnostní dluh totiž funguje úplně stejně jako úvěr v bance. Pomalu a nenápadně roste někde ve stínu, dokud firmě v ten nejhorší možný moment nepřijde astronomické vyúčtování. Z umělé inteligence tak nakonec vytěží nejvíc ty týmy, které dokážou spojit rychlost s pečlivou kontrolou.

Článek byl publikován ve speciální příloze HN ICT revue.