AI na obou stranách barikády

Vliv generativní umělé inteligence (AI) sahá od běžných, každodenně používaných aplikací až po složité systémy IT, samozřejmě včetně kybernetické bezpečnosti. Ale zatímco optimisté oslavují potenciál AI způsobit revoluci v dlouhé řadě oborů a usnadnit lidem práci, experti na bezpečnost varují před jejím dvojsečným charakterem. Nedávné případy pak odhalují znepokojivý trend: kyberzločinci rychle adoptují nástroje s AI ke stále sofistikovanějším a nebezpečnějším útokům.

Evoluce phishingových útoků

Modely konverzační AI, jako jsou ChatGPT, Google Bard či Claude, fascinují svou schopností vést s námi přirozený rozhovor. V této vlastnosti AI rychle rozpoznali potenciál také kyberzločinci, kterým dnes umělá inteligence bezelstně pomáhá při zdokonalení a zvýšení úspěšnosti phishingových kampaní i dalších typů podvodů založených především na sociálním inženýrství.

Dříve byly phishingové e‑maily často plné pravopisných chyb a neobratných formulací, což usnadňovalo jejich odhalení. S pomocí AI mohou útočníci nyní generovat gramaticky bezchybné, kontextově relevantní a vysoce přesvědčivé zprávy bez ohledu na použitý jazyk. Tyto e‑maily mohou být navíc personalizovány na základě veřejně dostupných informací o cíli, které může AI rovněž automaticky získat, což dramaticky zvyšuje šanci na úspěch útoku.

Útočník může například použít AI k analýze sociálních médií zaměstnance velké korporace, včetně jeho pracovní historie, zájmů a stylu komunikace. Na základě těchto informací pak AI vygeneruje phishingový e‑mail, který se tváří jako zpráva od personálního oddělení týkající se třeba aktualizace benefitů pro zaměstnance. E‑mail může být správně formátován a obsahovat relevantní detaily o kariéře zaměstnance, a dokonce i odkazy na nedávné firemní události. Pro získání nových benefitů se stačí jen přihlásit na příslušném (samozřejmě podvrženém) portálu…

Když AI hraje na city

Dalším kybernetickým zločinem zneužívajícím možnosti AI jsou podvody typu cryptorom. Tento podvod kombinuje sociální inženýrství, romantickou manipulaci a kryptoměnové investice. Útočníci využívají AI k vedení přesvědčivých konverzací s oběťmi na seznamovacích platformách. Po navázání „romantického“ vztahu přesvědčí oběť k instalaci falešné aplikace pro obchodování s kryptoměnami, která samozřejmě slouží jen k získávání hotovosti od podvedených obětí.

V cryptorom podvodech hraje AI klíčovou roli hned v několika aspektech. Útočník nejprve s pomocí AI vytvoří věrohodné profily na seznamkách, včetně biografií a zájmů, které rezonují s cílovou demografickou skupinou. Dále AI asistuje útočníkům ve vedení paralelních konverzací s mnoha oběťmi současně. Udržuje si ­přitom konzistentní osobnost a pamatuje si detaily z předchozích interakcí. Pokročilé modely strojového překladu přitom umožňují útočníkům komunikovat plynule prakticky v jakémkoli jazyce. Během konverzace analyzuje AI odpovědi oběti a navrhuje strategie pro budování důvěry a emocionální vazby.

Oběti zpravidla podvod odhalí až ve chvíli, kdy si chtějí nechat vyplatit zisk ze své „investice“. Kyberzločinci je zpravidla požádají ještě o další poplatek, typicky „daň ze zisku“, ale jakékoli „investované“ peníze už nelze získat zpět.

S pokrokem v generativní AI se otevírají nové možnosti pro sofistikované podvody využívající deepfake technologii, která umožňuje vytvářet falešné audio‑ a videozáznamy.

Foto: Shutterstock

Deepfake útoky: Vidět neznamená věřit

S pokrokem v generativní AI se otevírají nové možnosti pro sofistikované podvody využívající deepfake technologii. Ta umožňuje vytváření falešných audio‑ a videozáznamů, které jsou takřka k nerozeznání od skutečnosti.

Útočníci například vytvářejí deepfake videa nebo audiozáznamy vysokých manažerů firem, aby přesvědčili zaměstnance k provedení finančních transakcí. V typickém scénáři zaměstnance finančního oddělení během videohovoru ředitel pověří urgentním převodem prostředků na konkrétní účet. Hlas, podoba i gesta přitom přesně odpovídají skutečnému chování ředitele, ale odeslané peníze míří na účet podvodníka.

Deepfake videa mohou být zneužita také k poškození reputace konkrétních lidí nebo celých společností. Útočníci mohou také použít deepfake technologii k vytvoření falešných identit pro získání důvěry obětí v rámci sociálního inženýrství. To může zahrnovat vytvoření falešných „expertů“ nebo „influencerů“ pro manipulaci veřejného mínění nebo šíření dezinformací.

Do budoucna mohou pokročilé deepfake technologie potenciálně oklamat i systémy rozpoznávání obličeje nebo hlasu, což představuje významné bezpečnostní riziko a nutnost doplňování a zpřísnění bezpečnostních mechanismů.

Do roku 2030 investice do AI v oblasti kybernetické bezpečnosti překročí hodnotu 94 miliard dolarů.

AI odposlech a autonomní malware

Výzkumníci také prokázali alarmující schopnost modelů AI rozpoznávat na základě analýzy zvuku stisknuté klávesy, a tedy s vysokou přesností rekonstruovat, co bylo napsáno. To představuje potenciální riziko odhalení hesel nebo citlivých informací, pokud útočníci získají prostřednictvím škodlivého softwaru (malwaru) například přístup k mikrofonu v notebooku oběti nebo telekonferenčnímu zařízení v zasedací místnosti.

Současné „záchranné brzdy“ v oficiálních modelech AI sice mají zajistit, že ChatGPT nebo jiný chatbot odmítne vygenerovat kód malwaru, ale ukazuje se, že vhodnou volbou a formulováním výzev lze toto omezení obejít. Typicky tím, že se útočník vydává za bezpečnostního experta a od AI potřebuje pomoci s odhalením potenciálních mezer v zabezpečení.

Představa malwaru, který se dokáže sám vyvíjet a přizpůsobovat obranným mechanismům, byla dlouho považována za sci‑fi. S pokrokem v oblasti AI se ale i taková hrozba blíží realitě. Autonomní malware využívající AI by mohl měnit své chování v reálném čase v reakci na pokusy o jeho detekci, analyzovat síťovou infrastrukturu a hledat nové zranitelnosti a také vytvářet mutace kódu, které obejdou detekční schopnosti antivirových programů na základě známých signatur.

AI ve službách kyberobrany

Navzdory temným scénářům zneužití AI kyberzločinci je důležité pamatovat na to, že stejná technologie je mocným nástrojem také v rukách obránců. Bezpečnostní řešení už dnes aktivně využívají AI k posílení kybernetické obrany hned v několika klíčových oblastech. Jde především o pokročilou detekci hrozeb, kdy AI dramaticky zvyšuje schopnosti bezpečnostních systémů detekovat a reagovat na hrozby. Modely AI jsou schopny identifikovat vzorce chování malwaru, které by lidským analytikům mohly uniknout, a strojové učení dokáže identifikovat odchylky od normálního síťového provozu v reálném čase, což umožňuje rychlou detekci útoků. AI může také předpovídat budoucí trendy v kybernetických útocích na základě historických dat a aktuálních hrozeb.

ICT revue

Stáhněte si přílohu v PDF

V době kritického nedostatku kvalifikovaných pracovníků v oboru kybernetické bezpečnosti hraje klíčovou roli také automatizace rutinních úkolů. Systémy vybavené AI mohou například rychle analyzovat a prioritizovat bezpečnostní upozornění, snížit tak množství falešných poplachů a umožnit bezpečnostním týmům soustředit se na skutečné hrozby. V některých případech může AI reagovat na zjištěné ohrožení automaticky a třeba izolovat napadené systémy nebo blokovat podezřelé aktivity či síťový provoz.

AI přináší také nové možnosti v oblasti autentizace a kontroly přístupu, například pomocí behaviorální biometrie, kdy může analyzovat unikátní vzorce chování uživatelů, jako je způsob psaní na klávesnici nebo pohyb myší, pro kontinuální ověřování identity. AI systémy mohou vyhodnocovat i různé kontextové faktory (čas, lokace, zařízení) pro určení, zda je přístup k systémům legitimní. Na základě analýzy rizik v reálném čase pak mohou dynamicky upravovat úrovně přístupu uživatelů.

Investice do AI v oblasti kybernetické bezpečnosti rapidně rostou. Podle prognóz analytické společnosti SkyQuest Technology Consulting se očekává, že do roku 2030 tento trh překročí hodnotu 94 miliard dolarů. S rostoucí sofistikovaností útoků narůstá i potřeba pokročilých obranných mechanismů. AI také pomáhá překlenout mezeru v lidských zdrojích v oblasti kybernetické bezpečnosti, navíc v době, kdy stále přísnější legislativa na ochranu dat a zajištění kybernetické bezpečnosti nutí organizace investovat do pokročilých řešení.

Článek byl publikován ve speciální příloze HN ICT revue.