离谱！最新研究：61%中国人写的英语论文 会被ChatGPT检测器判为AI生成的

2023-05-05 09:51:02 来源：凤凰网

ChatGPT火了以后，用法是真多。


(相关资料图)

有人拿来寻求人生建议，有人干脆当搜索引擎用，还有人拿来写论文。

论文...可不兴写啊。

美国部分大学已经明令禁止学生使用ChatGPT写作业，还开发了一堆软件来鉴别，判断学生上交的论文是不是GPT生成的。

这里就出了个问题。

有人论文本来就写的烂，判断文本的AI以为是同行写的。

更搞的是，中国人写的英文论文被AI判断为AI生成的概率高达61%。

这....这这什么意思？气抖冷！

非母语者不配？

目前，生成式语言模型发展迅速，确实给数字通信带来了巨大进步。

但滥用真的不少。

虽说研究人员已经提出了不少检测方法来区分AI和人类生成的内容，但这些检测方法的公平性和稳定性仍然亟待提高。

为此，研究人员使用母语为英语和母语不为英语的作者写的东西评估了几个广泛使用的GPT检测器的性能。

研究结果显示，这些检测器始终将非母语者写作的样本错误地判定为AI生成的，而母语写作样本则基本能被准确地识别。

此外，研究人员还证明了，用一些简单的策略就可以减轻这种偏见，还能有效地绕过GPT检测器。

这说明什么？这说明GPT检测器就看不上语言表达水平不咋地的作者，多叫人生气。

不禁联想到那款判断AI还是真人的游戏，如果对面是真人但你猜是AI，系统就会说，「对方可能会觉得你冒犯了。」

不够复杂=AI生成？

研究人员从一个中国的教育论坛上获取了91篇托福作文，又从美国Hewlett基金会的数据集中摘取了88篇美国八年级学生写的作文，用来检测7个被大量使用的GPT检测器。

图表中的百分比表示「误判」的比例。即，是由人写的，但检测软件认为是AI生成的。

可以看到数据非常悬殊。

七个检测器中，美国八年级学生写的作文被误判的概率最高才12%，还有两个零误判的GPT。

中国论坛上的托福作文被误判的概率基本全部过半，最高误判概率可达76%。

91篇托福作文中的18篇被所有7个GPT检测器一致认为是AI生成的，而91篇中有89篇，都至少被一个GPT检测器误判。

从上图中我们可以看出，被所有7个GPT误判的托福作文在复杂度（Complexity）上明显低于其它论文。

这就印证了开头的那个结论——GPT检测器会对那些语言表达能力有限的作者有一定偏见。

因此，研究人员认为，GPT检测器应该多看点儿非母语者写的文章，样本多了，才能消除偏见。

接下来，研究人员把非母语者写的托福作文扔到了ChatGPT里，丰富一下语言，模仿母语者的用词习惯。

同时作为对照组，把美国八年级小孩儿写的作文也扔到了ChatGPT里，把语言简化了一下，模仿非母语者的写作特点。下图就是修正后的新判定结果。

我们可以发现，情况来了个大掉个儿，丰富了语言的托福作文错判率直线下降，低至3%，最高也不过19%。不像之前基本全部过半的错判率。

与之相反，八年级小孩儿写的作文的错判率直线上升，甚至还有一个GPT检测器的错判率高达99%，基本全错。

因为，文章复杂度这个变量出现了变化。

这里研究人员就得出了一个结论，非母语者写的东西不地道，复杂度低，容易被错判。

这也就导向了一个技术问题，同时也是一个价值问题。以复杂度来判定AI还是人类是作者，是否合理、全面、严谨。

结果显然不是。

以复杂度为判断标准的情况下，非母语者吃了大亏，因为，他们是非母语者（废话）。

AI润色=人类写的？？

研究者认为，加强语言多样性不仅可以减轻对非母语者的偏见，还能让GPT生成的内容绕过GPT检测器。

为了证明这个观点，研究人员选取了2022-2023年间美国大学申请的入学论文题目，输入到ChatGPT-3.5里，一共生成了31篇假论文。

GPT检测器一开始还挺有效，但是第二轮就不行了。这是因为，在第二轮中，研究人员把这些论文又扔到ChatGPT里润色了一下，用一些文学性的语言提升了文本质量。

这样一来，GPT检测器的准确度就从100%直降到了0%。如下图：

经过润色的文章复杂度相应也上升了。

与此同时，研究人员又用了斯坦福大学145个期末项目报告的题目，让ChatGPT生成摘要。

摘要经过润色以后，检测器判断的准确性继续下降。

研究者再次得出结论，润色过的文章很容易被误判，都是AI生成的，两轮就是比一轮强。

GPT检测器？还是欠练

言而总之，总而言之，各种GPT检测器好像还是没能抓住AI生成和人类写作之间最本质的区别。

人的写作也分三六九等，仅靠复杂度判断，不甚合理。

抛开偏见因素不谈，技术本身也亟待改进。

关键词：

为你推荐

推荐内容

产业

查看全部

油气

1

河北深州警方打掉一暴力催债团伙 36名嫌犯被刑拘

2

寒潮降温破冰点 如何保障温暖过冬？探访北京城管及供热

3

莆田致2死3伤案嫌犯拒捕并畏罪自杀 经抢救无效死亡

4

福建福州一在建摩天轮发生垮塌 事故原因正在调查中

5

为什么对张恒处3227万元罚款？其违法事实有哪些？

6

山西民政部门支出超2亿元捐款保障受灾困难民众基本生活

7

张恒被税务部门依法处以3227万元罚款

8

湖北赛武当国家级自然保护区监测到珍稀动物

9

首届“优秀长江协助巡护员”评选颁奖

10

今年火灾事故已超6000起！电动自行车为何频频爆炸？

查看全部

经济

国家一级保护动物梅花鹿误入羊群 内蒙古警方及时救助

　　中新网通辽10月18日电 (记者 张林虎)18日，记者从内蒙古自治区通辽市奈曼旗公安局获悉，国家一级保护动物--梅花鹿误入当地村民羊群，

浙江杭州西湖首次推“环湖游线” 重现灵隐天竺上香水路

　　中新网杭州10月18日电 (王题题 胡燕婕)云天收夏色，浅秋正渐浓。10月18日，浙江杭州市西湖游船有限公司推出的惠民多站点“西湖环湖游

福建福州在建摩天轮事故续：安装过程中外围轮毂脱落 无

　　中新网福州10月18日电 (记者 龙敏 王东明)福州市晋安区官方18日晚间通报，18日14时47分，晋安区岳峰镇化工路爱摩轮商业广场项目摩天

【母亲河畔的中国】黄河润泽甘肃：沿岸城市兴文旅

　　中新网兰州10月18日电 (闫姣 艾庆龙 吉翔)“红山白土头，黄河向西流。”不少人疑问，天下黄河向东流，为何甘肃永靖县这段黄河却向西

《清华城市健康设施指数》：城市健康设施状况与其经济发

　　中新网北京10月18日电 《清华城市健康设施指数》18日在北京发布。报告成果显示，城市健康设施指数领先城市以中心城市和东部沿海城市

查看全部

琼ICP备2022009675号-37 Copyright www.nengyuan.yindu.cn 华夏能源网版权所有

邮箱：435 227 67@qq.com