Măsură de siguranță (Guardrails)
term_id: guardrails
Category: application_paradigms
Definition
Măsurile de siguranță se referă la un set de controale software și straturi de aplicare a politicilor integrate în aplicațiile AI, în special în modelele lingvistice mari, pentru a asigura un comportament sigur și conform normelor. Acestea funcționează ca filtre care blochează solicitările malițioase sau conținutul periculos înainte ca acesta să fie procesat complet de model.
Summary
Mecanisme de siguranță concepute pentru a limita ieșirile modelelor AI și a preveni generarea de conținut dăunător, părtinitor sau neautorizat.
Key Concepts
- Filtrarea intrărilor/ieșirilor
- Aplicarea politicilor
- Detectarea toxicității
- Apărarea împotriva injectării de prompturi
Use Cases
- Chatbot-uri enterprise care necesită conformitate strictă cu marca
- Asistenți medicali care asigură acuratețea informațiilor și confidențialitatea
- Bot-uri de servicii clienți care previn utilizarea limbajului ofensator