CMMLU
CMMLU是一个全面的中文语言模型评估基准，涵盖67个主题，从基础到专业领域，特别强调中国特色知识，用于测试模型的知识储备和推理能力。
体验CMMLU什么是CMMLU
CMMLU：全面评估中文语言模型的知识与推理能力
CMMLU是一个专为中文语境设计的综合性评估基准，旨在全面测试语言模型的知识储备和推理能力。这个基准涉及67个不同主题，涵盖范围广泛：
- 自然科学领域：需要模型具备计算和推理能力
- 人文和社会科学：考察模型的知识积累
- 日常生活常识：如中国特有的驾驶规则等
CMMLU的独特之处在于其高度本地化，许多任务的答案都具有中国特色，可能不适用于其他地区或语言环境。这使得CMMLU成为一个真正意义上的中国化测试基准，能够更准确地评估语言模型在中文语境下的表现。