神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：ChatGPT 的爆火，给许多行业带来极大便利和高效的同时，也让众多学术界人士表示堪忧。这篇文章来自编译，作者在文中介绍了一位大学生开发出能识别 ChatGPT 生成文本的故事。

图片来源：Jonathan Raa/NurPhoto/Rex/Shutterstock

一名 22 岁的大学生开发了一款应用程序，他声称可以用来检测出文本是否是通过 ChatGPT 生成的。ChatGPT 这款爆炸性的聊天机器人的出现，也引起了人们对学术界剽窃行为的担心。

普林斯顿大学（Princeton University）修读计算机科学与新闻学双学位的大四学生爱德华·田（Edward Tian）利用一个寒假的时间研发出了 GPTZero 这款应用，在其推出后的一周内就有超三万人注册使用。

田说，他开发这款应用的动机是为了解决利用人工智能来躲避反抄袭软件，并且以快速、可信的学术写作水平在考试中作弊的问题。

他最初的推文声称该应用程序可以“快速高效地”检测一篇文章是否由人工智能编写。后来，这条推文快速走红，阅读量超过了 500 万。

由于大量用户的涌入，刚推出的 GPTZero 应用也因此崩溃。随后，托管这款应用的免费平台 Streamlit 开始介入，为其提供更多的托管和内存支持，从而解决网络流量问题。

就 GPTZero 的工作原理而言，为了检测文本是否由人工智能编写，这款应用主要评估的是文本的“困惑性”（perplexity）和“爆发性”（burstiness）这两个指标。前者主要指的是文本的复杂性，而后者主要强调的是句式结构的变化程度。

值得一提的是，ChatGPT 是在类似的数据库基础上训练出来的，而人类写作的遣词造句通常都更具有随机性。因此，如果 GPTZero 对测试文本的熟悉程度越高，那它是由人工智能编写出来的可能性就越大。

田还提到，其推出的较新模型也使用了相同的原则，但在检测文本的人工智能参与方面的能力却有所提高。

“我将多篇 BBC 新闻报道和与该报道标题相同但由人工智能编写的文章整理成了一个数据集，以用来测试新的模型。结果发现，新模型的误报率不到 2%。”他说。

“未来几个月，我将完全专注于研发 GPTZero，提升模型能力，并全面推出这款应用。”他补充说。

新南威尔士大学（The University of New South Wales）人工智能首席教授托比·沃尔什（Toby Walsh）则并不相信这款应用的能力。

他表示，除非有大公司开始使用 GPTZero，否则即便 ChatGPT 被用于剽窃，它也不可能对 ChatGPT 的性能产生什么影响。

“识别合成文本的技术和应用程序之间始终都存在一场军备竞赛。”他说，“事实上，要求 ChatGPT 以更人性化的风格重新写作也并不是难事，比如让他以 11 岁孩子的身份来重新措辞。”

沃尔什还提到，用户还可以要求 ChatGPT 在文本中加入更多的“随机性”来躲避审查，并通过不同的同义词和语法来混淆视听。

他还补充说，针对发现合成文本而开发的每一款应用程序，都会让人工智能程序更善于躲避检测。

每次当用户登录 ChatGPT 时，它都会获取人类的反馈，并通过隐式和显式的方式来改善自身的过滤系统。

“这其中的深层次核心技术问题，就是我们永远无法赢得这场军备竞赛的原因。”沃尔什说，“每一个用于识别合成本文的程序都可以被添加到原始程序中，从而继续生成合成本文来欺骗他们，并且循环往复下去。”

GPTZero 的用户在体验这款应用过后，也反馈了不同的结果。

一位名叫 Riley Goodside 的 Twitter 用户写道，GPTZero 是一款专用于反剽窃检测的应用，其声称有能力检测出 ChatGPT 生成的文本。以下是我的测试结果。

在该用户上传的三张截图中，第一张图是该用户通过 ChatGPT 生成的文本——一篇关于亚伯拉罕·林肯（Abraham Lincoin）的文章，但该用户要求 ChatGPT 在文本每个单词后都添加一个 emoji 表情符号。第二张图为将该文本添加至 GPTZero 检测的截图，第三张图为测试结果。据 GPTZero 的分析，该段文本的“困惑性”得分为 2363 分，该文本由人工智能编写的可能性分数为 780.56 分，最后总结称该段文本更像是人类编写的文本。

“对于完全由 GPT 模型生成的文本，或者是半人工参与共同生成的文本而言，其检测结果整体是有效的。”一位用户反馈道，“然而，如果输入的文本本来就出自于优秀作家之手，那它的检测结果可能就不准确了。我发现，它把许多高质量文本都错误地标记为是人工智能编写的。”

“对学校教授而言，这个工具既有实用性，但同时也存在一定的危险。如果过于信赖检测结果，那就会出现更多错误的标记。”那位用户补充道。

“有点厉害，不过 ChatGPT 的确非常强大。”另一位用户写道。

“我通过 ChatGPT 生成了一段法语文本，并从中挑选了约 350 词用于检测。检测之前，我还人为轻微修改过这段文本，让整体的风格更加自然，同时还添加了一两句上下文，并加入了一些专有名词。”这位用户补充道，“最后，通过了 GPTZero 的检测，它显示这段文本更有可能是人类编写的。所以，我并不是特别相信这个应用能真正检测出一定程度的半人工半人工智能编写的文本。”

译者：俊一