DALL-E和ChatGPT背后的公司OpenAI发布了一款免费工具,据称该工具旨在“区分人类编写的文本和人工智能编写的文本”。它在新闻稿中警告分类器“不完全可靠”,“不应用作主要决策工具”。根据OpenAI的说法,它在尝试确定是否有人试图将生成的文本冒充为人写的东西时很有用。
这个被称为分类器的工具相对简单,不过你必须有一个免费的OpenAI帐户才能使用它。你只需将文本粘贴到一个框中,单击一个按钮,它就会告诉你它是否认为该文本不太可能、不太可能、不清楚它是否、可能或可能是由AI生成的。
在测试中,它将26%的AI编写的文本识别为“可能是AI编写的”
OpenAI在其新闻稿中表示,它使用“关于同一主题的成对的人工文本和AI文本”来训练为该工具提供动力的模型。
但是,它确实提供了很多关于使用该工具的警告。在文本框上方,该公司指出了一些限制:
至少需要1,000个字符,即大约150-250个单词。
分类器并不总是准确的;它可能会错误标记AI生成的文本和人工编写的文本。
可以轻松编辑AI生成的文本以避开分类器。
分类器可能会在儿童书写的文本和非英语文本上出错,因为它主要是针对成人书写的英语内容进行训练的。
该公司还表示,它有时会“错误但自信地”将人类编写的文本标记为来自人工智能,尤其是当它与训练数据中的任何内容有很大不同时。它清楚地表明分类器仍然是一个“半成品”。
这些警告似乎是有道理的——我通过该工具运行了一些我自己的工作片段,并将它们标记为“非常不可能由AI生成”。(再次愚弄他们。)然而,它还表示不清楚这篇Buzzfeed新闻文章是否由AI撰写,尽管底部的通知上写着,“这篇文章完全由ChatGPT撰写。”
对于CNETMoney撰写的一些文章,我也得到了“不明确”的结果,而其他文章则得到了“不太可能”的分类。该媒体表示,这些文章“由人工智能引擎协助,并由我们的编辑人员审查、核实和编辑”,因此其中可能存在一些人为调整(特别是因为CNET已经对其中一半以上的文章进行了更正)。虽然CNET的所有者没有说明其文章使用的具体系统,但我的同事MiaSato已经报道它的某些内容使用了一个名为Wordsmith的工具。OpenAI表示,它的工具不仅适用于GPT,而且它应该检测“由来自各种供应商的AI编写的文本”。
我并不是说OpenAI的分类器根本不起作用。我运行了一些人们通过它发布的ChatGPT响应示例,并将其中大部分标记为“可能”或“可能”由AI生成。OpenAI在其测试中还表示,该工具在26%的情况下将AI编写的文本标记为“可能是AI编写的”,并在9%的情况下给出了错误的AI检测结果,优于其之前用于嗅探AI检测文本的工具。
OpenAI并不是第一个提出检测ChatGPT生成文本的工具的人;几乎在聊天机器人走红之后,像GPTZero这样的网站也是如此,它是由一个名叫EdwardTian的学生创建的,目的是“检测AI剽窃”
OpenAI真正关注这种检测技术的一个地方是教育。它的新闻稿称,“识别AI编写的文本一直是教育工作者讨论的一个重要问题”,因为不同的学校对ChatGPT的反应是禁止或接受它。该公司表示,它正在“与美国的教育工作者合作”,以了解他们在课堂上从ChatGPT中看到了什么,并正在征求任何参与教育的人的反馈。