chatgpt|他做了一个「ChatGPT 杀手」,a16z 抢着投( 二 )


这里所说的「困惑性」 , 是指来自人类所写作品的语言的复杂性和随机性 。
这个指标主要是衡量文本在一个句子中的随机程度 , 以及一个句子的构造方式是否会让 GPTZero 感到困惑 。
每当用户在 GPTZero 输入一段测试内容 , 它就会分别计算出:「文字总困惑度」、「所有句子的平均困惑度」、「每个句子的困惑度」 。
这些数值越低 , 越能说明这个文本对 GPTZero 来说是非常「熟悉」的 , 那么它很可能是 AI 生成的;相反 , 如果这些数值越高 , 就越能说明文本中句子的构造或用词方式让 GPTZero 感到「惊讶」 , 那么它就更可能是出自人类之手 。
这是因为 , 人工智能接受过数据库的训练 , 生成的文本在一段时间内 , 表现出的困惑度会更均匀和恒定 , 选词的可预测性也更高;而人类书写的文本则不会这样 , 真人的遣词造句一般会比较随机 , 比机器更容易写比较出乎意料的词句 。


使用 GPTZero 检测文字是否由 ChatGPT 生成|Twitter

而「突发性」 , 则是指来自人类使用的句子结构的变化 。
这个参数主要是比较句子复杂性的变化程度 , 衡量它们的一致性 。
这是因为 , 人类倾向于写高度复杂的文本;而人工智能产出的文本则是低复杂度的;此外 , 由于人类的思维结构不是线性的 , 他们的句子结构也遵循类似的模式 。
这意味着 , 人类使用句子结构 , 会在长而复杂的句子 , 和短而简单的句子之间摇摆不定 , 有着更多的句式变化 , 比如复杂和简单交替并存 , 一个长难句之后接着出现更简短的句子;而机器生成的句子则倾向于更加统一 , 很少会有一系列长度相差很大的句子 。
简而言之 , 在选词上「简单」而「熟悉」 , 并使用「统一整齐」的句子 , 是人工智能生成作品的标志特征 , 而更复杂和多样的东西 , 则表明是人类写的 。 这也是「困惑性」和「突发性」这两项指标可以作为衡量标准的原因 。
除了 Edward Tian 本人对 GPTZero 进行测试之外 , 也有不少网友用它对 ChatGPT、一些 GPT-3 衍生工具生成的内容进行了多次测试 。 最终结果显示 , GPTZero 每次都能抓住 AI 生成的文本 , 并在十多个案例中正确识别了人类写的文本 。
GPTZero 的一炮而红 , 让 Tian 获得了来自 a16z、 Menlo Ventures 和 Red Swan 等知名风投的青睐 。 不过 , 面对推特私信和电话轰炸 , Tian 却显得异常冷静 , 他谦逊地表示自己不会拒接投资者打来的电话 , 但他不会忘记自己仍然是一位即将毕业的大四学生 。
同时 , 他还表示自己的 GPTZero 尚未完成 , 仍需改进和进一步地开发 , 甚至计划让大家继续免费使用他的程序 , 用来支持各地新晋英文老师的工作 。


02
急需的「AI 透明」


对于 GPTZero 这一甄别文字是否是 AI 写作的新程序 , 推特上的舆论褒贬不一 , 以教师为代表的成年人大多喜闻乐见 , 而学生却讽刺 GPTZero 的创造者 Tian 是「学术缉毒警察」 。
的确 , 当 GPTZero 推出时 , Tian 收到了众多教师对该应用程序在检测 AI 写的文章方面的积极反馈 , 来自世界各地的无数教师也都对 Tian 表达了他们的感激之情——这让他们的教学难度大大减轻了 。
当然 , 也不难理解 , 不少学生并不看好 Tian 这款打击学术偷工减料、不劳而获的软件 。
事实上 , 不只是 Tian , 就连 ChatGPT 的开发商 OpenAI 自己 , 也已经表明了对防止人工智能剽窃的承诺 。
2022 年 12 月 , OpenAI 专注于人工智能安全的研究员 Scott Aaronson 透露 , 该公司正在努力开发「缓解措施」 , 用一种「不易察觉的秘密信号」对 GPT 生成的文本打上「水印」 , 以识别其来源 , 从而打击作弊的系统 。