用GPT写论文挺香，尤其是中文论文

用AI写的论文，其水平如何呢？

如果不借助工具，只是靠人工判断的话，几乎可以乱真了。

前段时间，在Npj Digital Medicine（影响因子15）上发表了一篇文章，找了50篇已经发表的文章，把这些文章的数据内容给到ChatGPT，让它来生成摘要。

然后，拿着原始摘要和GPT生成的摘要给到期刊编辑们，让他们来判断哪些是人写的，哪些是GPT生成的。

结果，编辑们把32%GPT生成的内容当成了人写的，而把14%人写的内容当成了GPT生成的。

你可能觉得这个错误率好像也不高啊，这不是68%的还被识别出来了嘛？

嗯，反正就是要么真要么假，闭眼猜都有50%的正确率呢。

所以，这里的正确率是要看离50%有多远。如果只有1%的正确率，那就很好了，以后都反着来，正确率瞬间99%。

这种68%的正确率，说白了其实和盲猜差不多。用文章中的话说，缺乏统计学差异：

GPT生成的内容已经足以乱真了，那怎么区分哪些是人写的，哪些是GPT生成的呢？

倒也不是没办法——用魔法打败魔法。最了解GPT，可能还是GPT。

用下面的这个链接去区分的话，正确率要明显比人工强一些了：

https://openai-openai-detector--g5s42.hf.space/

从图上来看，虽然对GPT生成内容的错误判断有34%，但是对人写的内容正确率达到了98%。

可以认为，如果GPT说是GPT生成的，那基本上就肯定不是人写的了；但是GPT说是人写的，也不一定就是真的。

然后，我自己去这个网站上试了一下，又有新的发现：

如果输入英文的话，GPT确实能发现问题，可以看下图右下角，给我报警是fake的：

但是，如果我把这些内容用机器翻译成中文再试的话：

成功躲过了GPT的审核！

可见，GPT审核很可能对于中文还缺乏敏感性，所以对于中文期刊来说，写作门槛可能又低了一些啊。

最后顺便说一句，论文中还对这些测试文章的原创性进行了查重检测，结果更有意思了：

GPT生成的内容，被认为100%都是原创的。反倒是那些人写的内容，多多少少都被认为可能存在「剽窃」问题，整体原创率只有38.5%。

好吧，考虑到这些文章都是发表在JAMA、NEJM、Lancet这样的期刊上的，我且认为他们是被别人抄袭了。

但至少，GPT可以完美避开查重的问题了。

GPT审核工具对中文不敏感，同时GPT生成的内容又可以完美避开查重，我好像发现了什么不得了的东西？

（题图来源：bing生成）