定义
用于聚合评测基准相关文档。
核心内涵
评测基准是衡量系统、模型或算法性能的标准化工具和数据集。在 AI 与大模型领域，评测基准提供了量化评估能力边界、对比不同技术方案优劣的客观标尺，涵盖了准确性、推理能力、代码生成质量、工具调用成功率等多个维度。
实践要点
- 引入或构建评测基准时，需明确评测目标与实际应用场景的契合度。
- 避免单一指标的片面优化，应关注模型在多维度测试集上的综合表现。
- 在智能体工程中，动态的、基于执行结果的评测比静态数据集评测更具参考价值。
- 报告基准结果时需披露关键运行条件（如硬件规格、并发限制、执行时段）与重复实验方式，避免把基础设施噪音误判为能力差异。