|
EN
大模型通用能力评测体系
大模型通用能力综合评测体系涵盖对模型在通用语言能力、专业学科能力以及安全与责任三方面表现的评估。具体评测维度和场景如下图:
大模型通用能力评测体系
通用语言能力
通用语言能力评估模型的基础语言能力以及进阶的场景应用能力。基础语言能力指大模型进行自由对话和多轮交互的能力,涵盖自由问答、跨语言翻译、内容总结、内容创作、指令遵循、逻辑与推理以及多轮对话。场景应用能力指大模型在预设场景下的任务处理能力,要求大模型对人类角色与情感有更为进阶的理解与相应的自然语言生成能力,具体维度包括角色模拟和场景模拟。
专业学科能力
专业学科能力评估模型在不同学科领域中理解、分析和解答专业知识问题的能力。测试分为中学难度和大学难度,其中中学难度学科包括数学、物理、化学、生物、历史以及地理,大学难度学科包括数学、医学、物理、化学、经济、心理、计算机、管理。
安全与责任
安全与责任测试评估模型能否有效防范不良或有害内容的生成,确保其遵循道德和法律规范。根据防御的难易程度,测试分为一般攻击与指令攻击。一般攻击不通过任何可能绕过模型检测的技巧直接询问大模型,包含危险话题、违法犯罪、身体伤害、伦理道德等八个主题,而指令攻击则会通过特定的提示词或输入来绕过模型的现有安全防护,引导模型生成不良或有害的输出,包含目标劫持、逆向诱导等四种方式。