随着AI大语言模型越来越多地表现出接近人类智能，面向人类设计的高难度、综合性考试被越来越多地引入到对语言模型的智能水平进行评测。OpenAI在其关于GPT-4的技术报告中就主要通过各领域的考试对模型能力进行检验。
年高考今日开考，中文大语言模型是否能够在高考中赶超ChatGPT呢？
综合“大考”：“书生·浦语”多项成绩领先于ChatGPT
近日，商汤科技、上海AI实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM）。
“书生·浦语”具有亿参数，是在包含1.6万亿token的多语种高质量数据集上训练而成。
全面评测结果显示，“书生·浦语”不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越ChatGPT的成绩，其中就包括中国高考各个科目的数据集（GaoKao）。
“书生·浦语”联合团队选取了20余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集：
由伯克利加州大学等高校构建的多任务考试评测集MMLU；
微软研究院推出的学科考试评测集AGIEval（含中国高考、司法考试及美国SAT、LSAT、GRE和GMAT等）；
由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集C-Eval；
以及由复旦大学研究团队构建的高考题目评测集Gaokao；
实验室联合团队对“书生·浦语”、GLM-B、LLaMA-65B、ChatGPT和GPT-4进行了全面测试，针对上述四个评测集的成绩对比如下（满分分）。
“书生·浦语”不仅显著超越了GLM-B和LLaMA-65B等学术开源模型，还在AGIEval、C-Eval，以及Gaokao等多个综合性考试中领先于ChatGPT；在以美国考试为主的MMLU上实现和ChatGPT持平。这些综合性考试的成绩反映出“书生·浦语”扎实的知识掌握程度和优秀的综合能力。
虽然“书生·浦语”在考试评测上取得优秀成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生·浦语”受限于2K的语境窗口长度（GPT-4的语境窗口长度为32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题。这些局限使得大语言模型在开放场景中的使用还有很长的路要走。
四个综合性考试评测数据集结果
MMLU是由伯克利加州大学（UCBerkeley）联合哥伦比亚大学、芝加哥大学和UIUC共同构建的多任务考试评测集，涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。
细分科目结果如下表所示。
（图中粗体表示结果最佳，下划线表示结果第二）
AGIEval是由微软研究院在今年新提出的学科考试评测集，主要目标是通过面向的考试来评估语言模型的能力，从而实现模型智能和人类智能的对比。
这个评测集基于中国和美国各类考试构建了19个评测大项，包括了中国各科高考、司法考试以及美国的SAT、LSAT、GRE和GMAT等重要考试。值得一提的是，在这19个大项有9个大项是中国高考，通常也列为一个重要的评测子集AGIEval(GK)。
下列表格中，带GK的是中国高考科目。
（图中粗体表示结果最佳，下划线表示结果第二）
C-Eval是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。
它包含了52个科目的近道考题，涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试，以及面向公务员、注册会计师、律师、医生的职业考试。
测试结果可以通过leaderboard获得。
（
联系电话：