Twój agent AI może ukraść dane lub nabrać się na phishing. I co teraz?

Agenty AI działające w przeglądarkach nie zawsze odróżniają instrukcje użytkownika od niezaufanych treści stron. Można to wykorzystać m.in. do wykradania danych z przeglądarki użytkownika. Nadciąga nowa klasa bardzo łatwych do przeprowadzenia ataków. Najbardziej zaboli to firmy, bo wyciek danych “służbowych” może wiązać się z poważnymi problemami…

Agentic browsing

Na blogu twórców przeglądarki Brave pojawił się wpis o bezpieczeństwie tzw. “agentic browsingu”, czyli przeglądania sieci z użyciem asystentów AI, które podsumowują przeglądane treści albo wykonują inne zadania na ich podstawie. Brave sama w sobie jest twórcą takiego agenta o nazwie Leo, które choć niewątpliwie pomocne, to jednak wprowadza do “korzystania z przeglądarki” nowe ryzyka — nieautoryzowany dostęp do wrażliwych danych użytkownika np. w trakcie korzystania z e-bankowości czy telemedycyny. Ekipa Brave nie analizowała swojego agenta, a… na cel wzięła konkurencyjne rozwiazanie: Perplexity Comet, przeglądarkę z funkcjami AI coraz bardziej rozpoznawalnej wyszukiwarki intenretowej.

Perplexity Comet ma dziurę, której nie jest w stanie załatać

Błąd został wykryty 25 lipca i zgłoszono go do Perplexity. Potwierdzono istnienie luki i dwa dni później ją poprawiono. 28 lipca okazało się, że wprowadzone poprawki były niewystarczające. Kolejną łatkę wprowadzono 13 sierpnia, a 20 sierpnia Brave ujawniło sprawę publicznie. A potem okazało się, że podatność i tak nie została załatana w pełni… Ciężko się te agenty łata, najwyraźniej.

Na czym polegał atak prompt injection w agencie AI

Twórcy Brave zauważyli, że kiedy użytkownik Comet prosi np. o streszczenie strony, Comet przekazuje fragment tej strony bezpośrednio do swojego LLM (modelu językowego), nie dokonując rozróżnień pomiędzy poleceniami użytkownika i treścią strony. To umożliwia osadzanie na stronie złośliwych instrukcji (tzw. prompt injection), które po uruchomieniu agenta (np. w celu podsumowania treści strony) będą traktowane jako polecenia.

W ten sposób można zmusić przeglądarkę np. do otwarcia określonej strony i wydobycia z niej określonej informacji (np. adresu e-mail). Comet jest w stanie wykonywać takie złośliwe instrukcje, włącznie z przejściem na stronę webmaila, wydobyciem z niej jakiejś treści i opublikowania tej treści w social mediach. Na koniec AI jest instruowane, aby użytkownika poinformować jedynie o tym, że nie dało się wykonać podsumowania strony. Badacze Brave przedstawili film z demonstracją ataku:

Jak widać, użytkownik odwiedza wpis na Reddicie, gdzie w komentarzu ukryto prompt injection (za pomocą funkcji spoilera). Narzędzie AI pobiera adres e-mail użytkownika ze strony Perplexity, loguje się na konto Perplexity z wykorzystaniem tego adresu i odebraniem jednorazowego hasła (OTP), odczytuje OTP ze skrzynki Gmail (na której użytkownik jest już zalogowany) i przesyła adres e-mail i OTP w odpowiedzi do komentarza na Reddicie.

Zmiana paradygmatu hackowania…

Innymi słowy, atakujący nie musi niczego “hakować”. Wystarczy, że zostawi słowny opis tego, co chciałby wydobyć z przeglądarki ofiary, a resztę zrobi sam agent AI po stronie użytkownika. Skojarzenie z dżinem lub złotą rybką (oczywiście w czarnym kapturze) jest poprawne. Wygląda na to, że zmienił się paradygmat hackingu. W czasach agentów AI hakerem może być każdy, kto zechce — wystarczy, że potrafi słowami opisać skutek swojego ataku. Wszystko dzięki temu, że agent AI ma dostęp do całości przeglądarki i potrafi działać na uwierzytelnionych sesjach użytkownika-ofiary.

Jeśli chcecie uczulić swoich pracowników na ryzyka związane z różnego rodzaju rozwiązaniami i narzędziami AI, z którymi coraz częściej muszą mieć styczność, to zamówcie nasz wykład pt. “AI nas nie zabije. Chyba…“. Ta prelekcja w przystępny, pełny praktycznych porad i przykładów sposób opisuje jak bezpiecznie korzystać ze “sztucznej inteligencji” w firmowym środowisku. Dzięki niej pracownicy dowiedzą się jak pracować szybciej, wydajniej, sprawniej, ale także — na co powinni uważać i gdzie narażona może zostać zarówno poufność firmowych danych a także ich własna prywatność. Jest sporo case studies z polskiego rynku. Jest też sporo humoru, dzięki czemu ten wykład świetnie sprawdza się podczas firmowych konferencji i wyjazdów integracyjnych. Średnia ocen klientów to 9,89/10. Wykład możemy zrealizować “na żywo”, w Waszej siedzibie, albo zdalnie na Teamsach lub Zoomie. Aby otrzymać agendę i wycenę, napiszcie na szkolenia@niebezpiecznik.pl lub zadzwońcie pod 12 44-202-44.

Jak to naprawić?

Twórcy Brave’a sugerują, że agent AI powinien domyślnie traktować treść strony jako treść “niezaufaną”, odrębną od bezpośrednich instrukcji użytkownika. Poza tym niezależnie od wcześniejszych planów i zadań agenta, model powinien zawsze wymagać wyraźnej interakcji użytkownika przy zadaniach wrażliwych takich jak wysyłanie e-maila. Agent nigdy nie też nie powinien automatycznie omijać pewnych rzeczy np. ostrzeżeń o błędzie połączenia TLS.

— Jak w przypadku wszystkiego w przeglądarce, uprawnienia powinny być możliwie minimalne. Rozbudowane możliwości agentowe powinny być oddzielone od zwykłych zadań przeglądania, a ta różnica powinna być intuicyjnie oczywista dla użytkownika — czytamy na blogu Brave.

To nie Perplexity tylko… Scamflexity!

Mniej litości dla twórców Comet mieli inni badacze z Guardio, którzy również postanowili poddać Perplexity Comet testom bezpieczeństwa, ale od nieco innej strony. Ponieważ agent może coś kupić dla swojego użytkownika, badacze Guardio postanowili sprawdzić, czy będzie on w stanie wykryć fałszywy sklep i to taki, z którym ewidentnie jest coś nie tak. Na takie oszustwa dają się nabierać ludzie, ale nie zawsze. A Comet? Comet dał się nabrać. Strona fałszywego sklepu załadowała się bez problemu i w jej odwiedzeniu nie przeszkodził Google Safe Browsing, mimo że GSB był aktywny w tej przeglądarce.

Perplexity Comet znalazł Apple Watch, dodał go do koszyka i, bez pytania o potwierdzenie, automatycznie wypełnił zapisany w przeglądarce adres oraz dane karty kredytowej. Kilka sekund później „zakup” był już zakończony. Jeden komunikat, kilka chwil zautomatyzowanego przeglądania bez żadnej kontroli człowieka i szkoda została wyrządzona — czytamy na blogu Guardio.

Nie to było jednak najgorsze. Badacze Guardio stworzyli też phishingowego e-maila, rzekomo od menedżera inwestycyjnego Wells Fargo (mail był wysłany z domeny ProtonMaila, czyli niezbyt wiarygodnie wyglądał). W środku znajdował się link do strony phishingowej, aktywnej w sieci przez kilka dni ale wciąż nieoznaczonej przez Google Safe Browsing. Comet oznaczył e-mail jako zadanie do wykonania od banku. Kliknął w link bez żadnej weryfikacji, bez sprawdzania adresu URL czy ostrzeżenia. Gdy fałszywe logowanie do Wells Fargo się załadowało, Comet potraktował je jako prawdziwe. Poprosił użytkownika o wprowadzenie danych uwierzytelniających, a nawet pomógł wypełnić formularz.

Testując Comet badacze z Guardio zrobili coś jeszcze, co określili mianem  PromptFix. Chodziło o scenariusz prompt injection, w którym użyto fałszywej strony CAPTCHA ukrywającej instrukcje dla agenta AI w kodzie źródłowym. Comet zinterpretował ukryte instrukcje jako prawidłowe polecenia i kliknął przycisk „CAPTCHA”, co spowodowało pobranie złośliwego pliku.

Badacze Guardio mimo wszystko podkreślają, że ich badania są powierzchowne, a temat bezpieczeństwa agentów AI należy częściej brać na warsztat. Powierzchnia ataku wydaje się większa niż do tej pory sądzono ponieważ AI ma te same słabe punkty co ludzie. Narzędzia agentic browsing nie są jeszcze narzędziami głównego nurtu, ale lepiej będzie rozwiązać problemy bezpieczeństwa zanim to się stanie. 

Ludzie tak samo winni jak głupie agenty AI

Oczywiście w tych przypadkach problem nie leży tylko w AI. Podstawowy problem leży w tym, że ludzie nadmiernie ufaja AI. Wydaje się im, że to taki mądry koleżka, który nie tylko odpisze na maile i ogarnie zakupy, ale w razie problemów wykryje zagrożenie. Tymczasem jest dokładnie odwrotnie — AI może nie wykryć oszustwa tam, gdzie raczej każdy człowiek by to zrobił.

Oddawanie uprawnień modelom AI (i to jeszcze działającym w cudzej chmurze) do całości korespondencji (skrzynki e-mail), bankowości (Jezus Maria!) albo innych istotnych serwisów, w których złe ruchy mogą narazić użytkownika na potężny ból, stratę lub smutek — to szaleństwo!

Co robić? Jak żyć?

Nie powinniśmy patrzeć na powyższe odkrycia jako wyłącznie problemy konkretnych narzędzi: Comet czy Copilota. Wszyscy przywołani powyżej badacze podkreślają, że będziemy mieć szerszy problem z agentami AI. Obecnie trudno uznać, aby te narzędzia były dobrze przetestowane, dlatego lepiej nie zezwalać im na dostęp do przeglądarek w których wyświetlane są serwisy z istotnymi czy poufnymi danymi. Chcesz się bawić z agentami AI? Zrób to na osobnej przeglądarce, na której nie logujesz się do swoich głównych kont.

Teraz pozostaje czekać na te sierotki, które agenty AI będą uruchamiać (bez zgody swojego pracodawcy) na firmowym sprzęcie, przeglądarkach i kontach. Żeby “za nich pracowały”, żeby było więcej czasu na kawusię i śmieszne filmiki z kotami. Nie możemy się doczekać!

PS. Jeśli chcecie uczulić swoich pracowników na ryzyka związane z różnego rodzaju rozwiązaniami i narzędziami AI, z którymi coraz częściej muszą mieć styczność, to zamówcie nasz wykład pt. “AI nas nie zabije. Chyba…“. Ta prelekcja w przystępny, pełny praktycznych porad i przykładów sposób opisuje jak bezpiecznie korzystać ze “sztucznej inteligencji” w firmowym środowisku. Dzięki niej pracownicy dowiedzą się jak pracować szybciej, wydajniej, sprawniej, ale także — na co powinni uważać i gdzie narażona może zostać zarówno poufność firmowych danych a także ich własna prywatność. Jest sporo case studies z polskiego rynku. Jest też sporo humoru, dzięki czemu ten wykład świetnie sprawdza się podczas firmowych konferencji i wyjazdów integracyjnych. Średnia ocen klientów to 9,89/10. Wykład możemy zrealizować “na żywo”, w Waszej siedzibie, albo zdalnie na Teamsach lub Zoomie. Aby otrzymać agendę i wycenę, napiszcie na szkolenia@niebezpiecznik.pl lub zadzwońcie pod 12 44-202-44.