基准测试
term_id: benchmarking
Category: basic_concepts
Definition
基准测试是通过实验来测量AI模型在特定任务上使用预定义基准的表现程度的主动实践。该过程涉及让模型通过标准的测试流程。
Summary
系统地使用基准测试AI模型，以量化其性能并确定改进领域的过程。
Key Concepts
- 性能测试
- 定量分析
- 优化
- 验证
Use Cases
- 比较不同硬件加速器的推理速度。
- 衡量微调模型相对于预训练基线的准确性。
- 审计模型在不同人口统计群体中的公平性和偏见情况。