护栏

term_id: guardrails

Category: application_paradigms

Definition

护栏指的是一组集成在人工智能应用（特别是大型语言模型）中的软件控制和策略执行层，以确保安全且合规的行为。它们充当过滤器，拦截不当输入并规范输出结果，从而降低风险。

Summary

旨在限制人工智能模型输出，以防止生成有害、有偏见或未经授权内容的安全机制。

Key Concepts

输入/输出过滤
策略执行
毒性检测
提示注入防御

Use Cases

需要严格品牌合规性的企业聊天机器人
确保医疗准确性和隐私的医疗助手
防止使用冒犯性语言的客户服务机器人