如果 AI 图像生成 / 编辑被用来做恶...

看到了这个知乎帖子后有感…
https://zhuanlan.zhihu.com/p/1991118212100798067

简单总结一下,似乎是某个微博上的人发了和很多明星睡觉 / 干其他事的照片,去锤明星。

类似这样的东西。

我不知道这是不是真的,也不关心。但这样的图片可以 用 AI 生成吧?

拿 AI 生成的图片用作退款证据法律证据的事件,现在已经在发生了。
或许法庭可以未来不采用图片数据,商家可以不采信或是采用更严格的流程,但恶意的 AI 生成图片依旧可以发到公开平台引导舆论,进行造谣,抹黑…


这样的问题有几种潜在的解决方案。

一种,是让 AI 图像生成模型不生成名人。这个方案随着开源图像生成模型的进展和微调技术的普及,已经失败了。反破限再强,也跟开源模型没啥关系。而且这只能保护名人… 如果是普通人被抹黑呢?被造谣呢?

另一种,是让 AI 模型生成的图自带水印,比如谷歌 nano banana 生成的模型自带隐形 SynthID 水印。但如果开源模型能够做出类似的效果,就有很多 AI 生成图像会没有水印。你不太可能在开源模型上强制加隐形水印,总有人能移除模型中添加水印的部分的。(连 LLM 权重中的反 nsfw 倾向都能给干掉的话,很难想象添加水印的部分会移除不掉)

我认为比较靠谱的,不是标识假的图片,而是标识真的图片。让手机/相机拍的图片有办法验证真实性和完整性。只能是手机厂商让照片自身有办法证明自己的完整性和真实性了。

不检测假的图片,只验证真的图片?反正你验证不了你是真的,我们就默认你是假的。


简单研究了一下,发现已经有解决方案了?

有个叫 Content Authenticity Initiative (内容真实性倡议,CAI) 的东西,开发了一套开源的工具链,可以让图片证明自己的编辑历史,并且能够验证所有的图像编辑历史?

密码学,朋友

但这样的倡议,核心难点在拍摄设备的支持和相关工具的普及。大部分的普通人不会主动去使用这类工具,所以成功与否完全取决于手机和相机拍摄的照片是否自带类似功能。

这样的技术被应用到了小米 17 Ultra 的莱卡版… 普通版没有嘛?

虽然现在我们已经可以去下载 CAI 官方提供的相机应用直接尝试,也可以用他们提供的网站进行验证,但现在这个阶段,生态支持看起来似乎比较糟糕…

虽然合作伙伴写了很多,但谷歌没上桌,苹果没上桌,高通上桌了,但他们从 888 那代就上车了,现在怎么没水花呢?如果手机厂商没上桌,只能说这个倡议还有很长一段路要走呢…


随着音频编辑模型的完善,同样的问题也会到音频和视频领域。这个 CAI 似乎也支持音频和视频?不过每个领域我们都要玩一遍这个流程?

9 个赞

以假乱真的时代,
眼见已经无法为凭。

是该要好好的把关才对。

区块链?
是依赖签名的说

在源头把关生成,架不住费心费力的开源模型来作恶。

就算有了内容凭证,普通人真的会去验证吗?大部分吃瓜群众看到图就直接转发了,谁还点进去查元数据。技术层面能解决,但用户习惯这块才是大坑。

快进到全球同一文件元数据规范

我去,这个打码,突然想到,synthID是不是不防打码啊

一般只能是图片画面加上水印或者是文件元数据上加水印。

1 个赞

是不是打码够多就看不出来了 :tieba_087:

去掉如果,兄弟,大模型时代之前,deepfake已经骗过一批人了

不会,隐形水印,你可以满屏都是,总能看出来。可以在元数据上加点东西

我去,我试了一下,截图+薄码就测不出来了

不对貌似用gemini官网能测,我试一下


就这种图人很容易看出来。但是如果换成 RGB 1:1:1 需要打水印换成 相邻的坐标,人很难看出来的。

还有一点,SRGB和P3 彩色覆盖范围不一样,人眼看水印局限于显示器水平,AI看水印和人不一样。

1 个赞

人物照片这种可以淡定地说“这是AI生成的”

还有一点,比如显示器亮度是180尼特,不同区域超过10尼特左右亮度白色就能看出来。
但是普通人可能对这个不敏感,但是如果一张图,AI可能对这种超级敏感。

好像之前有个案子,房东用豆包批图,水印没去除,当证据吗拿出来,当场被发现了。

原来如此

所以这是不是AI呀

车同轨书同文,期待这种真实性追溯可以成为统一的标准