Vložení promptu (Prompt Injection)
term_id: prompt_injection
Category: ethics_safety
Definition
Vložení promptu využívá způsob, jakým velké jazykové modely interpretují uživatelské pokyny, tím, že do vstupního textu zakódují skryté nebo rozporné direktivy. To může vést k tomu, že model ignoruje své původní bezpečnostní instrukce.
Summary
Adversariální útok, při kterém škodlivé vstupy manipulují s modelem AI tak, aby obcházel bezpečnostní filtry nebo vykonával nechtěné příkazy.
Key Concepts
- Adversariální útoky
- Systémové prompty
- Bezpečnostní rizika
- Sanitizace vstupu
Use Cases
- Testování bezpečnosti LLM
- Bezpečnost chatbotů
- Ochrana soukromí dat