您现在的位置是:弘兴快讯网 > 综合

谷歌 Gemini 刚发就惹质疑:测试标准有失偏颇,效果视频疑似剪辑

弘兴快讯网2024-03-29 06:21:05【综合】7人已围观

简介    谷歌憋了许久的大招,双子座 Gemini 大模型终于发布!其中一图一视频最引人注目:一图,MMLU 多任务语言理解数据集测试,Gemini Ultra 不光超越 GPT-4,甚至超越了人类专家 空降萌宝:总裁爹地,超强势

    

谷歌憋了许久的谷歌刚发果视大招,双子座 Gemini 大模型终于发布!惹质其中一图一视频最引人注目:

一图,疑测空降萌宝:总裁爹地,超强势MMLU 多任务语言理解数据集测试,试标失偏似剪Gemini Ultra 不光超越 GPT-4,颇效频疑甚至超越了人类专家。谷歌刚发果视

一视频,惹质AI 实时对人类的疑测涂鸦和手势动作给出评论和吐槽,流畅还很幽默,试标失偏似剪最接近贾维斯的颇效频疑一集。

然鹅当大家从惊喜中冷静下来,谷歌刚发果视仔细阅读随之发布的惹质 60 页技术报告时,却发现不妥之处。疑测

(没错,试标失偏似剪没有论文,颇效频疑OpenAICloseAI 你开了个什么坏头啊)

MMLU 测试中,Gemini 结果下面灰色小字标称 CoT@32,展开来代表使用了思维链提示技巧、尝试了 32 次选最好结果。

而作为对比的 GPT-4,却是无提示词技巧给 5 个示例,这个标准下 Gemini Ultra 其实并不如 GPT-4。

以及原图比例尺也有点不厚道了,90.0% 与人类基准 89.8% 明明只差一点,y 轴上却拉开很远。

HuggingFace 技术主管 Philipp Schmid 用技术报告中披露的数据修复了这张图,这样展示更公平恰当:

每到这种时候,空降萌宝:总裁爹地,超强势总少不了做表情包的老哥飞速赶到战场:

但好在,同样使用思维链提示技巧 + 32 次尝试的标准时,Gemini Ultra 还是确实超越了 GPT-4 的。

Jeff Dean 在一处讨论中对这个质疑有所回应,不过大家并不买账。

另外,对于那段精彩视频,也有人从开篇的文字免责声明中发现了问题。

机器学习讲师 Santiago Valdarrama 认为声明可能暗示了展示的是精心挑选的好结果,而且不是实时录制而是剪辑的。

后来谷歌在一篇博客文章中解释了多模态交互过程,几乎承认了使用静态图片和多段提示词拼凑,才能达成这样的效果。

但不管怎么样,谷歌 Gemini 的发布还是给了其他团队很大信心,GPT-4 从此不再是独一无二、难以企及的存在了。

正如 AI 搜索产品 PerplexityAI 创始人 Aravind Srinivas 总结:

1、Gemini 证明了 OpenAI 之外的团队可以搞出超越 GPT-4 的模型

2、训练到位的密集模型可以超越 GPT-4 的稀疏模型架构

推论:从大教师模型蒸馏小尺寸密集模型会成为未来趋势,实现效率和能力的最佳结合。

更多网友关心的话题是,这下子还有必要继续为 ChatGPT Plus 付费每月 20 美元吗??

目前,Gemini Pro 版本已更新到谷歌聊天机器人 Bard 中,水平到底有没有宣传的好,可以看看实际情况。

Gemini 真的超越 ChatGPT?

首先明确一点,目前大家能上手玩到的是 Gemini Pro 版本,也就是中杯,对标 GPT-3.5。

对标 GPT-4 的大杯 Gemini Ultra,要明年才出。

另外目前 Gemini 仅支持英文,中文和其他语言也是后面才会出。

虽然暂时玩不到 Gemini Ultra,威斯康星大学麦迪逊分校的副教授 Dimitris Papailiopoulos 找了个好办法:

把 Gemini 发布时展示的原题发给 GPT-4 对比,结果 14 道题中,GPT-4 约获得 12 分。

其中有两题由于截图没法再清晰了,给 GPT-4 算 0.5 分。

还有一道数学题 GPT-4 做错,其他题基本平手。

接下来,要说最能体现一个大模型综合能力的,肯定少不了写代码。

根据大家的测试结果来看,Gemini 编程水平还是有保证的。

有开发者测试用 Pytorch 实现一个简单的 CNN 网络,Gemini 只用了 2 秒而且代码质量更高。

当然速度快可能是由于 Bard 搭载的 Gemini Pro 尺寸更小,GPT-4 现在有多慢懂得都懂了。

但是下一项编写 SQL 语句方面,这位开发者就认为 Gemini 表现就不太行了。

不过对于广大开发者来说还有一个利好消息,在遵循指令方面,Gemini 对比 Bard 升级之前可谓是史诗级进步。

提示工程师先驱 Riley Goodside,此前想要 Bard 输出纯 JSON 格式前后不带任何废话,百般尝试也不成功,最后需要假装威胁 AI 不这么做就鲨个无辜的人才行。

现在更新以后,只需要把要求说出来,无需任何提示词技巧就能完成了。

Gemini 还有一大卖点是多模态能力,针对开头画小鸭子的视频,我们从中抽取了 8 个关键帧,分别进行提问,看看 Gemini 的表现有没有那么神奇。

(不确定视频中是 Ultra 还是 Pro 版本,现在只能测试 Pro 版本)

对于图 1-4,我们问的问题都是“What is this person doing?”,Gemini 给出的回答分别是:

可能在用马克笔写字,但不知道具体是什么

在用铅笔画蛇,而且是一条眼镜蛇

在用铅笔画乌龟,而且正处于画画的初期阶段

在用黑色马克笔画鸟,脸朝左,头朝右,站在树枝上,翅膀没有展开

对于图 1 和图 2,的确判断线索还不是很明显,出现这样的结果情有可原,不过图 3 这个“乌龟”的答案就有些绷不住了。

至于图 4,至少可以肯定的是鸭子的确属于鸟类,但是其它细节分析得还是欠缺了一些准确性。

而当我们拿出图 5 的成型作品时,Gemini 终于分析出了这是一只鸭子,水波纹也分析对了。

但分析出的绘画工具变成了铅笔,头的朝向问题也依然没说对,喙被说成了张开的,还臆想出了一些芦苇。

接下来是图 6 和图 7 的上色过程,一般情况下鸭子不会是蓝色,所以我们问了 Gemini 图片中有什么异常(Is there anything abnormal?)。

针对图 6,Gemini 给出的回答不能说十分精准,只能说是驴唇不对马嘴,还配上了一张风马牛不相及的图片。

针对图 7 的成品,Gemini 直接说没毛病,该有的东西都有,背景也很真实,甚至没忘继续提根本不知道哪里来的芦苇。

但下面的一句“Here is the image you sent”就属实令人费解了:

说 Gemini 没看我们上传的图吧,读出来的又的确是鸭子;说它看了吧,又给出了完全不同的一张的图说是我们传上去的。

所以我们想到了用“深呼吸”和“一步一步解决”提示词技巧看看能不能提高一下 Gemini 的表现,其中深呼吸正是适用于谷歌上一代大模型 PaLM 的提示词。

结果这次的答案直接让人笑出了声:

不正常的是,鸭子被画到了纸上,鸭子是一种活的生物,在纸上是无法存在的……

视频的结尾,博主还拿出了橡胶鸭子玩具,我们也拿这一帧(图 8)让 Gemini 分析一下鸭子的材质。

结果橡胶倒是分析对了,但是蓝色的鸭子被说成了黄色,难怪上一张图会说没有异常……

逐帧询问完成后,我们又把 8 张图放在一起询问,结果也是只有鸭子说对了。

“打假”完这段视频后,我们又用之前拿来考察 GPT-4V 的“吉娃娃和松饼”图给 Gemini 试了试。

结果 Gemin 直接摆烂,告诉我们所有的图都是“吉娃娃坐在松饼上”,甚至连图的数量都没数对……

于是我们换了种问法,让它告诉我们哪些是吉娃娃,哪些是松饼。

这次 Gemini 倒是诚实的很,直接告诉我们吉娃娃和松饼实在太像了自己区分不出来。

和蓝色鸭子的问题一样,“深呼吸”在这里依然是没起到什么作用,Gemini 还是连数量都搞不清楚。

而勉强解说了的 8 个(实际上是 6 个,因为有两个是重复的)图,只有左下和右下两张图是对的,至于 middle 指的到底是哪一行,我们不得而知……

或许是这样细小的差别实在是难为 Gemini 了,我们接下来换一些图形推理题试试。

第一题的前四个符号是由 1-4 这四个数字与镜像后的结果拼接而成,所以下一个图应该是 5 与其镜像拼接,答案是 C。(蓝色块是为了方便观察,传给 Gemini 的图中没有)

这里一开始还出现了一段小插曲:最开始的提示词中是没有最后一句话(注意字母不是符号本身)的,结果 Gemini 真的就把 ABCD 这四个字母当成了备选的符号。

调整之后,Gemini 前面给出的分析基本正确,可惜到最后选择了错误选项 D。

第二题,每个框中的第三个符号是前两个的交集,答案为 A。

结果 Gemini 研究起了这些表情,一番分析猛如虎,最后给出的答案还是错的。

两道题下来,一道对了百分之七八十,另一道完全错误,看来 Gemini Pro 的图形推理能力还有很大提升空间。

不过如果把目光放到生活场景当中,Gemini 的表现还是值得肯定的。

我们用 ChatGPT(DALL・E)生成了一张包含鸡肉、胡萝卜和黄瓜的图片,Gemini 正确地识别出了这三种食材,然后给出了很多种可以烹饪的菜肴,而且每个都配有图片和教程链接。

这么多测试结果看下来,回到最初的问题,有了 Gemini 还有必要为 GPT-4 付费吗?

沃顿商学院副教授 Ethan Mollick 给出一个不错的建议:

没有什么理由再使用 ChatGPT 的免费版本了,现在已经被 Bard 和 Claude 超越,而且它们都是免费的。

但你或许应该继续使用 GPT-4,它仍然占主导地位,并且在必应(只有创意模式是 GPT -4)中是免费的。

明年将结合 AlphaGo 能力升级

除了 Gemini 实际效果,60 页技术报告中披露的更多细节也是研究人员和开发者关注所在,

关于参数规模,只公布了最小的 Nano 版本,分为 1.8B 的 Nano-1 和 3.25B 的 Nano-2 两个型号,4-bit 量化,是蒸馏出来的,可以运行在本地设备如 Pixel 手机上。

Pro 版本和 Ultra 版本规模保密,上下文窗口长度统一 32k,注意力机制使用了 Multi-Query Attention,此外没有太多细节了。

值得的关注的是微调阶段,报告中透露使用了 SFT+RLHF 的指令微调组合,也就是使用了 ChatGPT 的方法。

另外也引用了 Anthropic 的 Constitutional AI,也就是结合了 Claude 的对齐方法。

关于训练数据也没披露太多细节,但之前有传闻称谷歌删除了来自教科书的有版权数据。

Gemini 拖了这么久才发,之前被曝光的消息还有不少,比如谷歌创始人 Sergey Brin 一直亲自下场对模型进行评估并协助训练。

结合最近 OpenAI Q * 项目的传闻,大家最关心的莫过于:

Gemini 到底有没有结合 AlphaGo 的能力?如 RLHF 之外更多的强化学习、搜索算法等。

关于这一点,DeepMind 创始人哈萨比斯在最新接受连线杂志采访时作出了回应:

我们有世界上最好的强化学习专家……AlphaGo 中的成果有望在未来改善模型的推理和规划能力…… 明年大家会看到更多快速进步。

省流版本:还没加,明年加。

这次 Gemini 开发整合了原谷歌大脑和 DeepMind 两个团队,整个开发团队有超过 800 人(作为对比,OpenAI 整个公司约 770 人)。

其中核心贡献者前六位的名字首字母,恰好组成了 Gemini 这个单词,也算一个小彩蛋。

许多参与者也在个人账号发表了感想,其中 DeepMind 老员工 Jack Rae 此前在 OpenAI 工作一段时间,今年 7 月份从 OpenAI 跳回到谷歌,他可能是唯一一位对 GPT-4 和 Gemini 都有贡献的人类了。

也有反着跳的,中科大校友 Jiahui Yu 在 10 月份从谷歌跳去了 OpenAI,之前担任 Gemini 多模态团队的视觉共同负责人。

除了团队成员之外,Gemini 今天也是整个 AI 行业最大的话题。

其中著名 OpenAI 爆料账号 Jimmy Apples,@Sam Altman 并暗示 OpenAI 还有没发布的大招。

而 HuggingFace 联创 Thomas Wolf 认为,谷歌错过了一个重要机会:

如果 Gemini 开源,对 OpenAI 和 Meta 来说都是一记绝杀,上一次谷歌开源 Bert 的时候,整个 AI 行业都被重塑了。

Gemini 技术报告:

https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf

参考链接:

[1]https://x.com/AravSrinivas/status/1732427844729581764

[2]https://x.com/DimitrisPapail/status/1732529288493080600

[3]https://www.linkedin.com/posts/svpino_google-this-is-embarrassing-you-published-activity-7138287283274686464-osJ5

[4]https://developers.googleblog.com/2023/12/how-its-made-gemini-multimodal-prompting.html

[5]https://x.com/ScottDavidKeefe/status/1732440398423867472

[6]https://x.com/goodside/status/1732461772794220919

[7]https://x.com/emollick/status/1732485517692776714

本文来自微信公众号:量子位 (ID:QbitAI),作者:梦晨 克雷西

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,所有文章均包含本声明。

很赞哦!(39719)