即刻App年轻人的同好社区
下载
App内打开
方可成
1年前
【我抓包了一个用ChatGPT🤖️写作业的学生】

最近,我的课上有一个学生用ChatGPT写作业,被我识破了🕵️‍♂️

作业的要求是写一名中国媒体人的小传,具体的人选从我给定的名单当中选择,用中文或英文均可,尽量用新闻报道的写法(减少主观评价,多介绍事实和细节)。学生的作业交上来之后,我请助教先判一遍分,然后我再过一遍。

我注意到,助教交到我手上的有一份英文写的作业,分数极低——满分15分,她只给了8.5分。她在批语里面给的评价主要有两方面:第一,前后段落之间有不少重复信息,比如第四段说这个人记录了被遗忘的历史,第五段又把同样的意思再说一遍,只不过用了不一样的词语表述。第二,整篇文章有非常多评价性的句子,但细节和例子就很少,和其他同学写的作业文风很不一样。

仔细读了这份作业之后,我很快意识到,助教的这两点评语,其实完全就是ChatGPT的作风。而且,我又从文中发现了另外一个致命的问题:至少有三处重要的事实信息是错误的。其中有两处是说这个人获得了某某奖,但我根本搜不到相关的获奖信息记录;另一处是说这个人拍摄的纪录片作品讲述的是某某人的故事,但其实根本不是——讽刺的是,我在第二节课上就播放过那部纪录片作品,其实全班所有人都知道纪录片讲的是什么。

发现这三处事实错误之后,我基本上就可以肯定:这份作业一定是用ChatGPT完成的。总结一下,用ChatGPT或其他生成型AI写的作业大概会有如下特点:
1️⃣语气听上去非常权威可信,但给出的信息经不起核查;
2️⃣擅长总结评价,但故事和细节欠奉;
3️⃣车轱辘话来回说,还能做到每次的用词都不一样;
4️⃣几乎没有任何拼写和语法错误。

如果你读到一篇文章符合上述特点,那么八九不离十应该是AI写成的。其实这些特点也再次表明:ChatGPT这样以大语言模型为基础的AI工具,擅长的就是说一些听上去漂亮的话,但是在信息准确性和质量方面是不可靠的,很可能是一本正经地胡说八道。

我还试过另一款以ChatGPT为基础的文献搜寻对话工具,号称能帮你找各个领域的研究论文。结果几句话说下来,我简直要被活活气死,因为它给出的论文reference看上去很真实,格式都完全正确,问题是:那些论文根本就不存在。我让它给出论文链接,它就给出一些看上去真的很像是论文网址的链接,只是那些链接根本就打不开。当你跟它说链接打不开,它就装作听不懂😡

说回那个学生,他其实不是我们学院的,而是商学院的(我的课是各专业都可以选修)。我给他写邮件,问他是不是用了ChatGPT。他一开始还不承认,装傻说“我不知道AI还能写文章”。等我追问那三处错误事实的来源,他就知道自己招架不住了,只好承认自己用了ChatGPT,但坚称只是用它来找资料而已,文章还是他自己写的。到这个地步,要再去证明那些句子确实是ChatGPT写的,就有难度了。再加上港中大的AI工具使用规范这周才发布,学生辩解说“学校在我写作业的时候并没有禁止使用AI工具”,我也只好到此为止,基于文章本身的质量给了一个很低的分数,没有再继续追究。
57166

来自圈子

圈子图片

AI探索站

68019人已经加入