Promptinjektion
term_id: prompt_injection
Category: ethics_safety
Definition
Promptinjektion utnyttjar hur stora språkmodeller tolkar användarinstruktioner genom att dölja eller infoga motsägelsefulla direktiv i inmatningstexten. Detta kan få modellen att ignorera sina ursprungliga säkerhetsinstruktioner.
Summary
Ett fientligt angrepp där skadliga indata manipulerar en AI-modell för att kringgå säkerhetsfilter eller utföra oavsiktliga kommandon.
Key Concepts
- Fientliga angrepp
- Systemprompter
- Säkerhetsrisker
- Indatasanering
Use Cases
- Säkerhetstestning av LLM:er
- Säkerhet för chattbotar
- Skydd av dataprivatsphets