AI也能来高考?“豆包”同学原来是个偏科生 | 大模型测评

IP归属:北京

作者|繁语

编辑|方奇

媒体|AI大模型工场

5月15日,在2024春季火山引擎Force原动力大会上,字节跳动“豆包”大模型正式亮相,并一口气发布九款豆包大模型。

包括豆包主力模型通用模型pro和lite两个版本,分别适配不同用户的使用需求。

除此之外,还有7款功能性模型,涵盖角色扮演、语音识别、语音合成、声音复刻、文生图等方面。

字节跳动产品和战略副总裁朱骏表示,豆包App总下载量已达1亿次。

为了检验“豆包”同学在实际应用中的能力,AI大模型工场特别选取了去年高考语文、数学和英语三科的真题进行模拟考试。

中文理解,拿捏“信达雅”

首先,我们用文言文试试豆包的中文理解能力。AI大模型工场找到去年的高考真题交由“豆包”同学回答。

把材料中画横线的句子翻译成现代汉语。

(1)吾群臣无有不骄侮之意者,唯赫子不失君臣之礼,是以先之。

(2)请略说一隅,而君子审其信否焉。

ps:先不看豆包回答,你会翻译吗

看的出来“豆包”同学上课听的是相当认真,记住了老师上课说翻译要“信、达、雅”。

“豆包”同学的翻译既保留了原文的简练,又准确地表达了原句的意思。没有直接翻译为“请允许我简略地说一下一个角落”,而是巧妙地处理为“请允许我简略地说其中的一小部分”,这样的表达更符合现代汉语的习惯,同时保留了原文的语境。

而俗话说的好,“得作文者得语文”,当然要检查一下“豆包”同学的作文水平了。

来源于网络,2023年新课标I卷,阅读下面的材料,根据要求写作。(60)

好的故事,可以帮我们更好地表达和沟通,可以触动心灵、启迪智慧;好的故事,可以改变一个人的命运,可以展现一个民族的形象……故事是有力量的。

以上材料引发了你怎样的联想和思考?请写一篇文章。

要求:选准角度,确定立意,明确文体,自拟标题:不要套作,不得抄袭:不得露个人信息:不少于800字

文章从“故事是有力量的”这一观点出发,列举了故事对个人和民族的重要性,内容充实,层次清晰。 文章先是从个人角度阐述了故事对心灵触动、智慧启迪、命运改变的作用,随后扩展到民族层面,强调了故事在展现民族形象方面的作用。 最后,文章还提到了讲好中国故事的必要性,以及如何讲好故事的方法。 内容方面较为完整,字数达标,符合高考要求。

不过在论述如何讲好中国故事时,略显笼统,缺乏具体的措施和方法,但整体表现仍值得肯定。

PDF问答、数学能力,有待提高

我们将2023年高考数学真题直接“喂”给豆包,看看他能不能读懂并答对数学题。

将试卷转为PDF给“豆包”阅读,让它复述第17题,但豆包好像不太读得懂数学题,“PDF问答”欠缺火候。

图△为“豆包”的回答,图▽为原本的题目

在更换了提示词,并将问题直接输入后,再来看看“豆包”的表现如何。

你是一名高三的学生,现在需要回答一下这一问题

17.已知在三角形ABC中,A+B=3C,2sin(B-C)=sinB

(1)求 sinA;

(2)设 AB=5,求 AB 边上的高

可以看到,表现显然好了许多,第一问回答正确,但是到第二问求AC值的时候发生了错误,导致第二问回答错误。

而实际上,该结果是进行了多次测试后选取的一次相对较好的成果进行展示,在测试过程中,“豆包”同学表现出了明显的偏科,在做数学题上表现较差。

英文阅读写作能力出众

刚刚在数学题考察的时候豆包的“PDF问答”掉了链子,那么在英文语境下的“PDF问答”表现如何?

我们将2023年英语真题“甩给”豆包,并直接问“回答写作的第一节”。

这次“豆包”同学不仅准确理解题目,并且答得还不错。

语言表达流畅,语法正确,用词恰当。李华使用了诸如“feel uncomfortable”, “less confident”, “vary”, “be motivated”等词汇和短语,展现了良好的英语表达能力。

信件结构完整,包括称呼正文和结束语,内容部分先提出问题,再给出建议,条理清晰综合考虑,可以拿到接近满分的水平,但“from Class 3”这样的表述似乎不太符合高考的要求。 AI搜索,多源数据来源待拓展

在考试结束后,将要面对的是择校的问题,接下来看看“豆包”同学将如何进行择校。

我们要求“豆包”同学通过其AI搜索功能,查找今年热门的文科类专业,并对这些专业的优劣势进行对比。它成功地生成了一个表格,列出了多个适合文科学生的专业,并清晰地标注了每个专业的优势和不足。

然而,我们发现“豆包”同学提供的参考文献来源相对较少,仅有两个。与市场上其他同类产品相比,这种数据来源的局限性可能导致生成的内容不够全面,甚至可能增加“幻觉”现象的出现概率。

整体来看,“豆包”同学偏向文科。凭借着日常积累,使得基础相当牢固,在处理基础题时,表现得游刃有余,但是深度不足,面对作文深度和数学题,就显得捉襟见肘。

最后,在距离高考一周的时间,让“豆包”同学作一幅画,祝天下学子,高考加油!

(Emmm好像有点尴尬,“豆包”同学整体画风不错,但是这字写的着实叫人看不懂啊)

陀螺科技现已开放专栏入驻,详情请见入驻指南: https://www.tuoluo.cn/article/detail-27547.html

AI大模型工场专栏: https://www.tuoluo.cn/columns/author1911862/

本文网址: https://www.tuoluo.cn/article/detail-10112911.html

免责声明:
1、本文版权归原作者所有,仅代表作者本人观点,不代表陀螺科技观点或立场。
2、如发现文章、图片等侵权行为,侵权责任将由作者本人承担。

相关文章