ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆( 二 )


文章图片
将内容粘贴进测试框 , 得出这段文字的总文字困惑度为31 , 句子平均困惑度为76.67 , 每条句子的困惑度图长这样:
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
以及困惑度最高的句子的值为99 。
看起来 , 每项困惑度值都和上面那段差距都挺大的 , 应该能猜出来是AI写的吧 。
不过遗憾的是 , GPTZero无法给出答案 , 还希望我们再多加一点文字试试 。
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆】显然 , 这段话字数够多 , 但句子不够多 , 无法让GPTZero一眼识破ChatGPT的“伪装” 。
测试3:成功那我们再来一段ChatGPT的试试 。
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
这回内容够长 , 句子也够多 。
果然没问题了 , GPTZero直接答对:
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
好像确实摸出来一点门道:
那就是字多的同时 , 句子数量也一定要多 , 至少5句 , 好让GPTZero通过直方图的分布加码识别 , 最后的准确率就可以提高一些 。
另外还需要提的是 , 我们发现在挑战失败的情况中 , 除了上面这种识别不出来的时候 , 也有直接识别错误的——
比如把AI写的判断成人写的:
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
把人写的新闻判断成AI的:
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
这种情况按照上面所说的窍门 , 再多加点内容可能就能将结果扳回来 。
(注意是可能哈 , 就上面这段新闻 , 我们把所有内容都粘进去了 , 它也说不行 , 还说要再多来点 。 )
普林斯顿华人小哥出品创建该网站的 , 是一个22岁的华人小哥EdwardTian , 来自加拿大多伦多 。
目前是美国普林斯顿CS专业大四学生 , 辅修认知科学和新闻学 , 对软件工程、机器学习等有浓厚的兴趣 。
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
他现在微软实习 , 曾在BBC、贝灵猫等公司撰写过科技稿件 , 还曾加入到地图工具Representable的创始团队 。
学习期间 , 他曾来到清华大学参加为期四周的城市研究研讨会 。
据他表示 , 这个应用程序是新年假期在咖啡店完成的 。
之所以想要开发这款应用程序 , 简而言之就是因为有太多ChatGPT炒作 , 人类应该知道有哪些是AI写的文章 。
目前仍处于准系统阶段 , 预计在接下来几周内改进模型和分析 。
除此之外 , 他还透露 , 正在测试由学生撰写的新闻文章数据集 , 并希望最终能发表论文 。
更多ChatGPT杀手事实上 , 也不只有这位小哥看ChatGPT不顺眼了 。 还有其他人类组织也相应开发了AI文本检测器 , AKAChatGPT杀手 。
大体思路也都差不多 , 那就是“用魔法打败魔法” , 用AI写的东西来训练新AI 。
前阵子 , OpenAI自己联合哈佛等高校机构联合打造了一款检测器:GPT-2OutputDetector 。
ChatGPT「克星」来了!文章作者是人是AI几秒检出,服务器已挤爆
文章图片
作者们先是发布了一个“GPT-2生成内容”和WebText(专门从国外贴吧Reddit上扒下来的)数据集 , 让AI理解“AI语言”和“人话”之间的差异 。