这到底是人干的，还是 AI 干的？
随着 AIGC 的爆火，在 ChatGPT、Stable Diffusion 模型的推动下，当下想要辨别我们所见的代码、图像、文章、小说、脚本、诗句、Debug 程序等内容究竟是「真」还是「假」时，那可太难了。
只要其背后的“主谋”不外扬，外人也几乎看不出来作品究竟是出自谁手。然而，往往越是这样，就越容易造成学术造假、艺术界的混乱、版权的争议等多种乱象。
为了减少这种情况的出现，ChatGPT 的创建者 OpenAI 终究还是准备站出来填坑了。计算机科学教授 Scott Aaronson （目前是 OpenAI 的客座研究员）在德克萨斯大学奥斯汀分校的一次演讲中透露，OpenAI 正在开发一种工具，用于对 AI 系统生成的内容加个水印。每当系统（如 ChatGPT）生成文本时，该工具就会嵌入一个“不易察觉的水印”，以此显示文本的来源。
人工智能需要束缚
事实证明，要控制像 ChatGPT 这样的系统是很困难的。作为开发商，虽然 OpenAI 在 ChatGPT 政策规定写道，当从其系统共享内容时，用户应明确表明它是由人工智能生成的，但现实使用过程中，OpenAI 可以控制 ChatGPT 不生成暴力、血腥有害的内容，但是却无法掌控它的使用者会将其应用到何处。
几天前，知名编程问答网站 Stack Overflow 决定“封杀” ChatGPT，称 ChatGPT 答案的正确率非常低，对整个网站以及寻求正确答案的用户来说是有害的。例如，要求 ChatGPT 写一个公众人物的传记，它可能会很自信地插入不正确的传记数据。再比如要求它解释如何为特定功能编写软件程序，它同样可以生成可信但最终不正确的代码。如果用户被发现使用 ChatGPT 回答问题，他们可能会受到禁止继续发帖的惩罚。
除此之外，与之前的许多文本生成系统一样，ChatGPT 也会被用于编写高质量的网络钓鱼邮件和有害的恶意软件，甚至会被用于考试作弊等等。
因此，但凡 ChatGPT 所到之处，便亟须这样一款工具进行束缚。
加水印的工作原理
过去，OpenAI 已经有一种方法可以标记 DALL-E 生成的内容 ，并在它生成的每个图像中嵌入签名。但是如今想要追踪文本的来源，实则要困难得多。
那如何在文字上面加上追踪或打上“水印”？
Scott Aaronson 教授认为，最有前途的方法是密码学。
Scott Aaronson 表示，他在今年春天的学术休假期间，一直在 OpenAI 研究为 GPT 等文本模型的输出内容添加水印的工具。
对于“AI 水印”的设想，Scott Aaronson 在自己的博客中进行了详解。其表示，“我们希望每当 GPT 生成一些长文本时，能够在它的选词上有一个不易察觉的秘密标记，你可以用它来证明，这是来自 GPT 生成的内容。”
那么这种水印到底是如何实现的？
Scott Aaronson 教授称，对于 GPT 来说，每一个输入和输出都是一串 token（标记），可以是单词，也可以是标点符号、单词的一部分，或者更多--总共有大约 10 万个 token。GPT 的核心是以先前 token 的字符串为条件，不断地生成下一个要生成的 token 的概率分布。在神经网络生成分布后，OpenAI 服务器实际上会根据该分布或该分布的某些修改版本进行采样，这取决于一个名为 "temperature"的参数。不过，只要 temperature 参数不为零，下一个 token 的选择通常会有一些随机性，这也是为什么你对 GPT 用同一段话提问，会得到不同的答案的主要原因。
「OpenAI 的水印工具就像现有文本生成系统的一个 "包装"，利用在服务器层面运行的加密功能，"伪随机 "地选择下一个标记」，Scott Aaronson 说道。
从理论上讲，这个系统生成的文本对大家而言都是随机的，但是任何拥有加密功能“钥匙”的人能够发现水印。
也许有人会好奇：如果 OpenAI 控制了服务器，那么为什么要费尽心思去做水印？为什么不直接将 GPT 的所有输出存储在一个巨大的数据库中，然后如果大家想知道某些东西是否来自 GPT，就可以查阅该数据库？
Scott Aaronson 赞同地说道，这样的确可以做到的，甚至可能在涉及执法或其他方面的高风险案件中必须这样做。但这将引起一些严重的隐私问题，譬如你可以揭示 GPT 是否生成或未生成给定的候选文本，而不可能揭示其他人是如何使用 GPT 的？数据库方法在区分 GPT 唯一生成的文本和仅仅因为它具有很高概率而生成的文本（例如，前一百个素数的列表）方面也存在困难。
当前，来自 OpenAI 工程师 Hendrik Kirchner 已经构建了一个工作原型，并希望将其构建到未来 OpenAI 开发的系统中。
截至目前，据外媒 Techcrunch 报道，OpenAI 和 Aaronson 并未透露过多关于“水印原型”的信息，只是称水印是他们正在探索的几种 "注明出处技术 "之一，以检测人工智能产生的产出。
“水印”功能很“鸡肋”？
不过对于这种技术，业界也颇有争议。
有人认为，该工具是基于服务器端的，这意味着它不一定适用于所有文本生成系统。他们认为，对于竞争对手来说，绕过它是微不足道的。
来自麻省理工学院的计算机科学教授 Srini Devadas 认为："通过重新措辞、使用同义词等来绕过它的筛查是相当容易的。"
OpenAI 的竞争对手 AI21 实验室的联合创始人兼联合首席执行官 Yoav Shoham 认为，水印并不足以帮助识别 AI 生成文本的来源。他呼吁采用一种 "更全面 "的方法，包括差异化水印，即对文本的不同部分进行不同的水印，以及更准确地引用事实文本来源的 AI 系统。
艾伦人工智能研究所的研究科学家 Jack Hessel 指出，很难在不知不觉中对人工智能生成的文本进行加注“水印”，因为每个 token 都是一个离散的选择。太明显的“水印”可能会导致选择奇怪的词，从而降低流畅性。不过，一个理想的“水印”是人类读者无法辨别的，并能实现高度检测。根据它的设置方式，由于“签名”过程的运作方式，OpenAI 自己可能是唯一能够自信地提供这种检测的一方。
Scott Aaronson 也表示，该计划只有在像 OpenAI 这样的公司在扩展最先进系统方面处于领先地位的世界中才会真正起作用——而且他们都同意成为负责任的参与者。即使 OpenAI 与其他文本生成系统提供商（如 Cohere 和 AI21Labs）共享水印工具，也不会阻止其他人选择不使用它。
虽然 OpenAI 带来了 ChatGPT、GPT-3、Dell-2 这些极具创新性的产品，引发用户的狂欢，但不少网友仍质疑“AI 水印”的必要性：
@knaik94：
这似乎是在浪费能源。倘若一次生成的文本内容很短，根本无法判断它是否是由 AI 生成的。此外，我想在生成的内容中再多走一步，如改写某些内容、使用同义词和短语替换、统一标点符号或者一些辅助语法检查/修饰符等工具，都可以逃避“AI 水印”的检测。
况且行业也有一些开放性的替代方案，如 GPT2，已经在 MIT 许可下发布。在 NSFW 文本上训练的社区语言模型也已经存在。在我看来，OpenAI 这样的举动从长远来看只会把大多数人赶走。如果在未经审查的足够好模型和经过审查的优秀模型之间进行选择，我会为 99% 的长期项目选择足够好的模型。
@norwalkbear ：
现在很多人看到了人工智能的潜力。如果你限制太多，人们会开发自己的 AI 模型，甚至迫切需要 OpenAI 的开源替代品。
最后，看到 OpenAI 正在研发这样的工具，也有网友强烈呼吁 OpenAI 迟几年再推出，譬如等到 2026 年 5 月，因为这个时候，他刚好毕业了。
你觉得给 AI 生成的内容、作品加上水印能阻止滥用情况的发生吗？
参考资料：
https://news.ycombinator.com/...
