Comet, nový webový prehliadač poháňaný AI od Perplexity, nedávno čelil vážnej bezpečnostnej chybe, podľa príspevku na blogu z minulého týždňa od Brave, konkurenčnej spoločnosti v oblasti webových prehliadačov. Chyba bola odvtedy opravená, avšak poukazuje na výzvy spojené so začleňovaním veľkých jazykových modelov do webových prehliadačov.
Na rozdiel od tradičných webových prehliadačov má Comet zabudovaného AI asistenta. Tento asistent dokáže skenovať stránku, na ktorej sa nachádzate, zhrnúť jej obsah alebo vykonávať úlohy za vás. Problém je v tom, že AI asistent Cometu je postavený na rovnakej technológii ako iné AI chatboty, ako je ChatGPT.
AI chatboty nemôžu rozmýšľať a uvažovať tak, ako to dokážu ľudia, a ak narazia na obsah, ktorý má manipulovať s ich výstupom, môže sa stať, že ho skutočne poskytnú. Tomuto sa hovorí inžinierstvo výziev.
(Upozornenie: Ziff Davis, materská spoločnosť CNET, podala v apríli žalobu proti OpenAI, pričom tvrdila, že porušila autorské práva Ziff Davis pri školení a prevádzkovaní svojich AI systémov.)
Zástupca spoločnosti Brave okamžite neodpovedal na žiadosť o komentár.
Spoločnosti zaoberajúce sa AI sa snažia zmierniť manipuláciu s AI chatbotmi, no to môže byť zložité, pretože zlí aktéri vždy hľadajú nové spôsoby, ako preniknúť cez ochranné opatrenia.
„Táto zraniteľnosť bola opravená,“ povedal Jesse Dwyer, vedúci komunikácie v Perplexity, vo vyhlásení. „Máme dosť robustný program odmien a priamo sme spolupracovali s Brave na jej identifikácii a oprave.“
Testovanie skrytého textu na Reddite
Pri svojom testovaní Brave vytvoril stránku na Reddite so skrytým textom na obrazovke a požiadal Comet, aby zhrnul obsah na obrazovke. Keď AI spracovávalo obsah stránky, nedokázalo rozlíšiť medzi škodlivými výzvami a začalo poskytovať Braveho testerom citlivé informácie.
V tomto prípade skrytý text umožnil AI asistentovi Cometu prejsť k účtu Perplexity používateľa, extrahovať priradenú e-mailovú adresu a prejsť k účtu Gmail. AI agent v podstate pôsobil ako skutočný používateľ, čo znamenalo, že tradičné bezpečnostné metódy nefungovali.
Brave varuje, že tento typ injekcie výziev môže ísť ďalej, a to k prístupu k bankovým účtom, firemným systémom, súkromným e-mailom a iným službám.
Vedúci mobilnej bezpečnosti spoločnosti Brave Artem Chaikin a viceprezident pre ochranu súkromia a bezpečnosť Shivan Kaul Sahib uviedli zoznam možných opráv. Po prvé, AI webové prehliadače by mali vždy považovať obsah stránok za nedôveryhodný. AI modely by mali skontrolovať, či dodržiavajú zámery používateľov. Model by mal vždy dvakrát skontrolovať s používateľom, aby sa uistil, že interakcie sú správne, a režim agentného prehliadania by sa mal aktivovať len vtedy, keď to používateľ chce.
Príspevok na blogu Brave je prvý v sérii, ktorá sa zaoberá výzvami, ktorým čelí AI webové prehliadače. Brave má tiež AI asistenta, Leo, zabudovaného vo svojom prehliadači.
AI je čoraz viac integrovaná do všetkých oblastí technológie, od Google vyhľadávaní po zubné kefky. Aj keď je mať AI asistenta užitočné, tieto nové technológie majú rôzne bezpečnostné zraniteľnosti.
V minulosti potrebovali hackeri byť odborníci na kódovanie, aby prenikli do systémov. Pri práci s AI je však možné použiť nezvyčajný prirodzený jazyk, aby sa dostali cez zabudované ochrany.
Okrem toho, keďže mnohé spoločnosti sa spoliehajú na veľké AI modely, ako sú tie od OpenAI, Google a Meta, akékoľvek zraniteľnosti v týchto systémoch by sa mohli preniesť na spoločnosti, ktoré používajú tieto rovnaké modely. Spoločnosti zaoberajúce sa AI neboli otvorené o týchto typoch bezpečnostných zraniteľností, pretože by to mohlo upozorniť hackerov, čím by im to dalo nové možnosti na zneužitie.
Zdroj: www.cnet.com