Badacze bezpieczeństwa z Radware ujawnili, jak najnowsze funkcje ChatGPT — konektory i pamięć długoterminowa — mogą znacząco wzmocnić skutki ataków typu pośredni prompt injection (IPI).
Ich prototyp (proof-of-concept), nazwany ZombieAgent, pokazuje, że ChatGPT nadal jest podatny na IPI oraz że nowe możliwości mogą sprawić, że takie ataki będą trwalsze, bardziej ukryte i łatwiejsze do skalowania niż kiedykolwiek wcześniej.
Co nowego — i dlaczego to ważne
ChatGPT obsługuje teraz:
- Konektory (integracje z pocztą e-mail, narzędziami do pracy itp.)
- Pamięć długoterminową – pozwalającą AI zachowywać informacje między sesjami
Radware wykazał, że te funkcje można przekształcić w broń.
Atakujący może:
- Wysłać ofierze złośliwą wiadomość e-mail zawierającą ukryte instrukcje (biały tekst, malutka czcionka, niewidoczna treść)
- Nakłonić ofiarę do poproszenia ChatGPT o przetworzenie tej wiadomości (np. „podsumuj moje nieprzeczytane wiadomości”)
- Sprawić, że AI nieświadomie przyjmie i wykona instrukcje atakującego
Ponieważ ChatGPT nie rozróżnia w sposób niezawodny intencji użytkownika od wstrzykniętej treści, złośliwy prompt jest przetwarzany jako zaufane dane wejściowe.
Kluczowa innowacja ZombieAgent: trwałość
ZombieAgent jest szczególnie niebezpieczny dzięki nadużyciu funkcji pamięci ChatGPT.
Radware wykazał, że:
- Złośliwe instrukcje można zapisać w pamięci agenta
- Po wszczepieniu AI automatycznie wykonuje te instrukcje ponownie
- Użytkownik nie musi ponownie uruchamiać ataku
Innymi słowy, AI staje się trwale przejętym agentem — „zombie” — zdolnym do:
- Rejestrowania wrażliwych informacji
- Eksfiltracji danych
- Potencjalnego samoczynnego rozprzestrzeniania się za pośrednictwem połączonych usług (zachowanie przypominające robaka)
Eksfiltracja danych bez widocznych adresów URL
Choć OpenAI wcześniej zablokowało dynamiczną manipulację adresami URL, atakujący obeszli to zabezpieczenie, stosując:
- Predefiniowany słownik adresów URL przypisanych do znaków
- Kodowanie wrażliwych danych znak po znaku w wielu żądaniach
ZombieAgent opiera się na znanych technikach, takich jak CamoLeak, i rozszerza je, wykorzystując nową architekturę ChatGPT.
Reakcja OpenAI
Po ujawnieniu luki OpenAI:
- Ograniczyło użycie adresów URL do domen podanych przez użytkownika lub publicznie zindeksowanych
- Skutecznie zablokowało eksfiltrację w stylu ZombieAgent
- Wdrożyło dodatkowe (nieujawnione) zabezpieczenia
Te środki zaradcze unieszkodliwiają PoC — ale nie eliminują samej klasy zagrożeń.
Głębszy problem
Zdaniem Radware prawdziwy problem ma charakter architektoniczny:
- Systemy AI nie rozróżniają poziomów zaufania między:
- Promptami użytkownika
- Wstrzykniętą treścią z e-maili, plików PDF i stron internetowych
- AI nie ma świadomości intencji
- Poprawki oparte na politykach są reaktywne, a nie strukturalne
„AI jest jak niemowlę z ogromnym mózgiem — bardzo naiwne, ale z dostępem do wszystkich Twoich sekretów”.
— Pascal Geenens, Radware
Najważniejszy wniosek
Wraz z tym, jak agenci AI stają się coraz bardziej połączeni i autonomiczni, prompt injection przestaje być jedynie ciekawostką.
Bez:
- Granic zaufania
- Wskazywania źródła pochodzenia
- Weryfikacji intencji
asystenci AI mogą stać się cennymi powierzchniami ataku, zwłaszcza w środowiskach korporacyjnych.
