Víte jistě, že si povídáte na online callu se šéfem? Trh AI roste, s ním i bezpečnostní rizika

Při podceňování umělé inteligence hrozí takzvané riziko utržení se z řetězu. Hrozby s ní spojené zasahují jak běžné uživatele, tak i národní úroveň. Prvním problémem může být samotná manipulace s trénovacími daty, která může vést k chybným rozhodnutím AI systémů. Stále sofistikovanější budou také kybernetické útoky, přibývat budou i deepfakes, kdy útočníci například předstírají videohovory s řediteli firem, aby získali citlivá data.

Už teď je jisté, že vývoj umělé inteligence raketově poroste, chtějí ji stále více využívat ke zvýšení efektivity uživatelé, firmy, ale i vlády. Společnost Bain & Company odhaduje, že globální trh s produkty, které souvisejí s AI, vzroste meziročně o 40 až 55 procent a do roku 2027 dosáhne hodnoty až 990 miliard dolarů.

Využití AI je obrovské. A nemluvíme pouze o zpracování velkého množství dat a automatizování rutinních a opakujících se úkolů. Umělá inteligence umí předpovídat počasí, epidemie, používá se při vývoji nových léků nebo v personalizované medicíně. Lékařům pomáhá při diagnostice a léčbě pacientů. Umí pomocí senzorů odhalovat lhaní či jiné emoce a svoji roli hraje také v odkrývání kybernetických a dalších rizik.

Internet v ruských věznicích nemají, televizi jen někdo. Krym je horší než Sibiř

22. 11. 2024 ▪ 7 min. čtení

Hrozby úměrné růstu trhu

Bezpečnostní rizika se v kontextu AI týkají širokého spektra oblastí, od ochrany systémů před útoky až po etické a společenské důsledky jejího nasazení. Nedávno jsme mohli být svědky velké debaty, kterou vyvolala společnost Meta, jež chce sbírat data z Facebooku a Instagramu pro trénink nové umělé inteligence. Velkým problémem bude také generování hlasu, obrázků a videí za pomoci AI.

„AI je v současnosti především nástrojem, který asistuje, ať už útočníkům nebo obráncům. Doposud ale neexistuje taková, která by zcela autonomně dokázala útočit nebo byla dramaticky efektivnější než člověk, zejména ve všestranné činnosti,“ říká Lenka Soukupová, z oddělení komunikace Národního úřadu pro kybernetickou a informační bezpečnost (NÚKIB).

Přístup k bezpečnosti se podle ní musí změnit například u generativní AI a takzvaných deepfakes. „AI dneska dokáže vygenerovat tak realistický obraz, zvuk a video, že jsou nerozlišitelné i pro zkušeného člověka. Toto je třeba brát v potaz. To, že vidíte například vašeho nadřízeného na videohovoru, dnes již není zárukou, že je to skutečně on,“ varuje Soukupová.

Terčem deepfake útoku se stal i miliardový e‑shop GymBeam. Pracovník slovenského fitness e‑shopu strávil 14 minut rozhovorem s videokopií svého šéfa Dalibora Cicmana.

„Kolegovi přišla na WhatsApp zpráva z účtu, který byl velmi podobný mému. Napsal, že se s ním rychle potřebuje spojit, a poslal odkaz na Microsoft Teams. Na videohovoru byla moje deepfake kopie spolu s dalším člověkem,“ popsal příhodu Cicman na sociální síti LinkedIn s tím, že se hackeři snažili zjistit zůstatky na firemních bankovních účtech.

Podle Jana Dolejše ze společnosti Digiskills budou deepfakes, kdy útočníci předstírají videohovory s řediteli firem, aby získali citlivá data, přibývat a zlepšovat se. „Na druhou stranu se díky umělé inteligenci inovují i nástroje pro ochranu. Avšak zkušenosti ukazují, že útočníci často dokážou technologie využívat lépe než obránci,“ říká Dolejš.

Ekonomické dopady zneužití AI mohou být miliardové

Hrozby AI zasahují jak běžné uživatele, tak i národní úroveň. „Pro jednotlivce představují riziko ztráty soukromí, zvýšené kybernetické útoky a neetické využití jejich osobních údajů. Na národní úrovni jde o strategické hrozby, například využití AI k dezinformacím, což může podkopávat důvěru v demokratické instituce. Dále vyvstávají otázky spojené s obranou a vojenským využitím AI, což zahrnuje například autonomní zbraně a kybernetické útoky na kritickou infrastrukturu. Tento přesah od jednotlivců po státy činí AI unikátně komplexní hrozbou,“ říká Lukáš Benzl, ředitel České asociace umělé inteligence.

Ten by dle svých slov rozsah těchto hrozeb absolutně nepodceňoval, protože se bude s rozmachem umělé inteligence neustále stupňovat. „Podle studií existuje riziko, že bez řádné regulace a standardizace mohou hrozby, jako je ztráta pracovních míst, kyberútoky a rizika pro ochranu soukromí, přerůst do takového měřítka, že budou mít dopad na celou společnost. Na makroúrovni dokonce existují odhady, že ekonomické dopady zneužití AI by mohly v nejbližších letech způsobit ztráty v hodnotě stovek miliard dolarů,“ podotýká Benzl.

Předcházení těmto hrozbám vyžaduje aktivní přístup jak ze strany vlád, tak soukromého sektoru. „Základem je vytvoření robustních právních rámců, jako je evropský AI Act, který si klade za cíl regulovat využívání AI technologií. Dalšími kroky jsou vzdělávání veřejnosti o rizicích spojených s umělou inteligencí, podpora výzkumu bezpečných AI systémů a zavádění bezpečnostních protokolů ve firmách. Klíčovou roli hrají také certifikační procesy a bezpečnostní standardy, které zajistí, že AI systémy budou bezpečné od základů,“ pokračuje Benzl.

Kybernetických útoků přibývá

Z dat americko‑izraelské IT skupiny Check Point Software Technologies, která vyvíjí kyberbezpečnostní řešení, vyplývá, že v průměrném počtu útoků patří tuzemské firmy a organizace k nejpostiženějším v Evropě. Podle Check Pointu se zdejší firmy ve druhém čtvrtletí letošního roku musely vypořádat přibližně se 2094 kyberútoky týdně. I když se i u jiných evropských firem počet útoků zvedl o 35 procent oproti stejnému období v roce 2023, celkové číslo odpovídalo jen v průměru 1367 útokům týdne na organizaci. Nejčastěji čelily ohrožení školské instituce, vojenský sektor či zdravotnictví.

Kybernetická rizika AI pomáhá odhalovat, na druhou stranu kvůli ní budou útoky stále sofistikovanější. Je vůbec možné tuto rovnici převážit na stranu AI „ochranář“, a nikoliv hrozba? „Z analogií v minulosti jsem přesvědčený, že úplné převrácení možné není. AI je v zásadě stejný nástroj v rukách obou stran – podobně jako méně dokonalé nástroje v minulosti. A útočníci budou stále o krůček napřed,“ říká Stanislav Kollert, architekt informační bezpečnosti (Information Security Architect) z Next Generation Security Solutions.

Ačkoli AI oblast kybernetické bezpečnosti ovlivňuje již dnes, největší dopady lze teprve očekávat. „V této souvislosti si musíme klást otázku: Jsme na to připraveni? Obávám se, že nikoliv. A nejde jen o technologie, ale hlavně o celkovou změnu paradigmatu v našich hlavách a přístupech,“ míní Kollert.

„Znepokojuje mě zejména podceňování bezpečnostních aspektů ve vývoji AI, razí se hlavně přístup typu ,move fast and break things‘. Bezpečnostním aspektům není věnována dostatečná pozornost, spoléhá se na to, že se vyřeší později,“ dodává Kollert.

Domnívá se, že pro běžné uživatele je největší výzvou odolat bezmyšlenkovému přebírání výstupů z AI systémů. Zachování si osobního informačního filtru na základě svých jedinečných zkušeností je jednou z rozhodujících výzev blízké budoucnosti. „Rizika pro národní bezpečnost jsou rovněž nezpochybnitelná. Kdo má k dispozici rozvinutější AI systémy, má větší moc a možnosti prosadit své zájmy,“ zdůrazňuje.

Otrávení dat během tréninku

Zatímco se často diskutuje o tom, jak může být umělá inteligence využívána k provádění kybernetických útoků a bezpečnostních hrozeb, opomíjeným tématem jsou útoky vedené proti samotné AI. Způsob, jakým se učí, je velmi komplexní a závislý na kvalitě dat, s nimiž pracuje. „Pokud by útočník dokázal získat k těmto datům přístup a cíleně je pozměnit, může dosáhnout toho, že umělá inteligence bude poskytovat špatné výsledky, například přehlédne útočníkův malware. Takovou manipulaci je navíc velmi těžké odhalit,“ říká Soukupová z NÚKIB.

Také podle Kollerta jsou rizikem současných systémů trénovací data a jejich kvalita. „Kvalitních dat je už teď nedostatek a hlavně jsou čím dál méně ověřovaná realitou, například syntetická data odvozená z jiných. A bez dostatku kvalitních dat není kvalitní AI systém,“ je přesvědčený.

Největším rizikem AI je podle něj to, že do ní nevidíme a nelze odvodit, proč k určitému závěru dospěla. „Je možné, že více světla do tohoto problému vnese v budoucnosti bádání v oborech, jako je například Complexity Science, které zkoumají dynamiku složitých systémů složených z relativně jednoduchých komponent,“ říká.

Umělá inteligence

Stáhněte si přílohu v PDF

Ruku v ruce s AI se musí učit i lidé

S narůstajícím dopadem umělé inteligence roste potřeba kontinuálního vzdělávání v oblasti digitální gramotnosti. „Naše vyhodnocení ukázalo, že 20 procent zaměstnanců nemá dostatečné znalosti pro efektivní zabezpečení svého soukromí v digitálním světě. To je alarmující, hlavně v době příchodu umělé inteligence. Stačí jeden člověk, který udělá chybu, a je ohrožena celá firma,“ varuje Jan Dolejš z Digiskills.

Oslovení odborníci zdůrazňují, že i pro zkušeného odborníka není vždy jednoduché rozpoznat rozdíl mezi reálným a falešným obsahem. Na druhou stranu část společnosti si rizika spojená s umělou inteligencí uvě­domuje a zájem o vzdělávání v oblasti AI roste.

„Jak ukazují průzkumy, v Evropě přibylo přes 30 procent zájemců o AI kurzy během posledních dvou let. Rostoucí zájem o technické rekvalifikace potvrzuje také Úřad práce ČR. Velký zájem také vnímáme z vlastní zkušenosti, kdy je drtivá většina našich akcí beznadějně obsazena,“ říká Benzl.

„Lze očekávat další rozvoj metod a modelů zejména v oblasti uvažování. AI začne stále více ovlivňovat realitu kolem nás bez zprostředkování člověkem a riziko „utržení z řetězu“ při podcenění tohoto trendu poroste. Stejně tak i závislost člověka na AI,“ predikuje Kollert.

Článek byl publikován ve speciální příloze HN Umělá inteligence.