4月13日消息,LMArena 更新了Meta最新发布的开源大模型Llama-4-Maverick的排名,从此前的第2名,直线掉到了第32名!
这也实锤了此前开发者对Meta为刷榜排名向LMArena提供了“特供版”的Llama 4大模型的质疑。(详情:Llama 4大模型跌落神坛:作弊刷榜、代码能力极差、和DeepSeek比就是伪开源)
4月6日,Meta发布了最新的大模型Llama 4,包含Scout、Maverick和Behemoth三个版本。其中,Llama-4-Maverick在LMArena公布的Chatbot Arena LLM 排行榜中的排名第二,仅次于Gemini 2.5 Pro。
然而,随着开发者实际使用Llama 4大模型开源版的效果陆续曝出,Llama 4口碑急转直下。有开发者发现Meta提供给LMArena的Llama 4版本与提交给社区的开源版本不同,因而Meta被质疑为刷榜作弊。
4月8日,Chatbot Arena官方发文确认了用户的上述质疑,公开表示Meta提供给他们的是“特供版”,并考虑更新排行榜。
根据Chatbot Arena官方消息,Meta首次提交LMArena的Llama-4-Maverick-03-26-Experimental是一个实验性聊天优化版本,当时该版本的排名为第二。修正后的模型为HuggingFace开源版同款Llama-4-Maverick-17B-128E-Instruct,是17B激活参数、128个MoE专家的指令微调模型。
目前,开源版同款Llama-4-Maverick-17B-128E-Instruct在LMArena的排名为32名,远低于Gemini 2.5 Pro(1)、GPT4o(2)、DeepSeek-V3-0324(5)、DeepSeek-R1(7)、Qwen2.5-Max(11),甚至连英伟达基于上一代Llama 3.3改造的Llama-3.3-Nemotron-Super-49B-v1(17)都不如。
LMArena详细排名如下:
- 索尼起诉腾讯新游抄袭 指控其克隆经典作品
- 星链因软件故障全球中断2.5小时 全球多地无法正常接入网络
- 谷歌被判22.5亿元天价赔偿背后:安卓数据暗箱操作的五年拉锯战
- HDC 2025:开发者搭上“鸿蒙快车”,鸿蒙生态加速前行
- HarmonyOS 6开发者Beta正式启动:打造无处不在的AI体验
- 马蜂窝发布夏季“旅行蜂向标”,进山、玩水、拥抱草原是最受关注的夏季玩法
- 饿了么灰测“悦享会员”加码用户体验,提供一系列专属优惠和个性化服务
- 启信宝2025奶茶趣味报告:奶茶企业5年激增140%,40万家共筑3500亿帝国
- 《黑神话:悟空》PS5国行版将于6月18日正式发售,建议零售价268元起
- 报告:2029年美国AI搜索广告支出将达260亿美元,占比13.6%
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。