内地首个AI高考评测 数学全不及格
[探索] 时间:2024-07-02 02:19:48 来源:上海品茶安排 作者:探索 点击:57次
图:AI得分情况。内
【大公报讯】据第一财经报道:高考这一高难度综合性测试,地首目前普遍被研究者用于考察大模型的个AI高格智能水平。在前不久高考结束后,考评上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试,测数并于19日发布了首个大模型高考全卷评测结果。学全
语数外三科加起来的不及满分为420分,此次高考测试结果显示,内阿里通义千问2-72B得303分排名第一,地首OpenAI的个AI高格GPT-4o得296分排名第二,上海人工智能实验室的考评书生.浦语2.0排名第三,三个大模型的测数得分率均超过70%,但大模型的学全数学都不及格,最高分也只有75分。不及在数学试卷上,内阅卷老师们发现,大模型的主观题回答相对凌乱,且过程具有迷惑性,甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强,但是无法在解题过程中灵活引用。可以看出,在数学方面大模型还有很大的提升空间。
数学关乎复杂推理相关能力,这是大模型普遍面临的难题,也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华表示,“现在很多大模型的应用场景是客服、聊天等,在聊天场景一本正经胡说八道影响不太大,但它很难在非常严肃的商业场合去落地。”
(责任编辑:休闲)
相关内容
- 中国驻美大使:优质产能不是过剩 反而是严重不足
- 24个跌停,还有7天退市,仍有680万手封单,28万股东坐等血本无归
- 24个跌停,还有7天退市,仍有680万手封单,28万股东坐等血本无归
- “新王登基”,魏哲家将带领台积电走向何方?
- 开局良好 “三驾马车”亮点频出 苏州1至2月经济运行情况公布
- 中美会谈后,不到48小时,中对台军的称呼变了,最后送出8个字!
- 国足公布战泰国23人参赛名单:3将临阵被裁!鲍亚雄、艾克森落选
- 李强吁推动中日韩全面重启合作 三方商定尽早恢复完成自贸谈判
- 开局良好 “三驾马车”亮点频出 苏州1至2月经济运行情况公布
- 中美会谈后,不到48小时,中对台军的称呼变了,最后送出8个字!
- 领导潜规则女下属后续:公司曝光,女主真容被扒,离职员工曝猛料
- 重庆33岁男子杀妻后跳楼,现场惨烈,事因曝光,更多细节流出
- 促进专业发展 提升教学成效 “张家港
- 事实证明,“消失”8年的毕福剑,已经走上了一条“不归路”