资深专家也无法准确分辨出ChatGPT撰写的科学论文

美国科普杂志《科学美国人》今天发表文章，称ChatGPT写的科学论文学术性太强，资深科学家都分不清。

图源自然

在12月下旬发表在bioRxiv服务器上的一篇预印论文中写道，人工智能聊天机器人已经能够写出令人信服的虚假研究论文，以至于科学家们在没有仔细筛选的情况下无法区分它们。

在英国牛津大学研究技术和监管的桑德拉·沃希特说:我对此非常担心如果连专家都分不清论文的真伪，就会影响我们的研究基石

IT小课堂:聊天机器人ChatGPT会根据用户的提示创建逼真的，听起来很智能的文本它是一个大语言模型，一个基于神经网络的系统，通过消化大量现有的人类生成的文本来学习执行任务位于加州旧金山的软件公司OpenAI于11月30日发布了该工具，它可以免费使用

伊利诺伊州芝加哥西北大学的Catherine Gao领导的团队使用ChatGPT生成人工研究论文的摘要，以测试科学家是否能够找到它们研究人员要求聊天机器人根据《美国医学会杂志》，《新英格兰医学杂志》，《BMJ》，《柳叶刀》和《自然医学》上发表的精选作品，撰写50篇医学研究摘要

然后，他们通过抄袭检测器和AI输出检测器将这些摘要与原始摘要进行比较，并要求一组医学研究人员找到捏造的摘要。

ChatGPT生成的摘要成功通过了抄袭检查器:原文得分中位数为100%，说明没有检测到抄袭。

AI输出检测器发现了66%的生成摘要，而人工审查仅正确识别了68%的生成摘要和86%的真实摘要专家错误地将生成的摘要中的32%识别为真实摘要，14%识别为生成摘要