谷歌Gemini被曝视频造假 多模态视频是剪辑配音

12月8日消息，谷歌7日凌晨终于发布双子座 Gemini 大模型，声称 MMLU 多任务语言理解数据集测试，Gemini Ultra 不光超越 GPT-4，甚至超越了人类专家。

然而有眼尖的网友发现，在谷歌所给的图片中，MMLU 测试中，Gemini 结果下面灰色小字标称 CoT@32，展开来代表使用了思维链提示技巧、尝试了 32 次选最好结果。

而作为对比的 GPT-4，却是无提示词技巧给 5 个示例，这个标准下 Gemini Ultra 其实并不如 GPT-4。以及原图比例尺也有点不厚道了，90.0% 与人类基准 89.8% 明明只差一点，y 轴上却拉开很远。

HuggingFace 技术主管 Philipp Schmid 用技术报告中披露的数据修复了这张图，这样展示更公平恰当：

不仅如此，Gemini 在发布时，谷歌给出的一系列 Demo 中最令人眼花缭乱的部分是伪造的。

名为《Hands-on with Gemini: Interacting with multimodal AI》的视频现在的播放量已经有 140 万次，其中展示了谷歌认为自己「最喜欢的与 Gemini 的交互案例」，展示了多模态模型（即它理解并混合语言和视觉理解）如何灵活地响应各种输入。

但点击 YouTube 上的视频描述，可以发现 Google 有一个重要的免责声明：「为了演示的目的，已经减少延迟，为了简洁，Gemini 的输出也缩短了。」

也就是说，该视频并非原始输出，而是进行了剪辑和优化。随后，谷歌官博也放出了解释——是的，视频的确有后期制作和剪辑的成分。

据新智元报道，根据官方发布的一个技术文档，Gemini所有的这些交互都不是实时感知到的，而是通过提示词问出来的。但其实，真实的过程是，向Gemini上传一张手比剪刀的照片，问它看到了什么。然后用人声把它的回复读了出来。

而石头剪子布的视频，则是把三张照片依次传给Gemini，让它把这三张照片连在一起推理，它直接给出回答，这是在玩石头剪子布。

所以，实际上并不是Gemini看懂了一段视频，它只是看懂了三张图片，并且做出了推理而已。

同样，在识别行星的演示，视频给人营造的感觉仿佛是直接问Gemini「这个顺序正确吗」，它就能回答不正确，应该是太阳、地球、土星。

但实际上，是谷歌给了Gemini一句prompt：「这个顺序正确吗？请考虑它们与太阳的距离，并且解释你的理由」，随后，Gemini才回答了那样一句话。

很多网友也认为，谷歌这种有意地误导性呈现，反而让用户会怀疑，到底模型的真实能力有多强。毕竟，产品不能永远停留在宣传视频里，最终都要交到用户手上去体验。

这个视频最大的误导性在于，似乎让用户误以为Gemini能实时的读取视频信息，并且能够通过自己的理解直接推测用户的问题并直接回复。

而实际情况是，谷歌员工是通过读取图片+良好的提示词工程才能让Gemini生成这些回复的。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。