周鸿祎:开源能处理50万字长文本的大模型给大家玩玩

3月29日消息,360创始人周鸿祎发布视频,称要“开源个能处理50万字长文本的大模型给大家玩玩”。

周鸿祎称,大家前段时间都在卷文本长度,很快100万字就是标配了。所以我们打算把这个能力开源,让国内所有大模型都能支持超过20万字,大家不用再各自闭门造车,重复发明轮子。

周鸿祎透露,这两天准备开源 360 智脑的一个 70 亿参数大模型,把 360k、50 万字左右的长文本能力开源。

此前,周鸿祎还发表长文《我是开源的信徒,坚信开源是伟大的力量》,介绍了开源的三个原因:

第一,我是开源的信徒,信奉开源的力量。大家前段时间都在卷文本长度,20 万字、50 万字,很快 100 万字就是标配了。所以我们把这个能力开源了,让国内所有大模型都能支持超过20万字。当然我们为了讨个口彩,定了360k,也就是 50 万字左右。让你的大模型也具备一次读一本《三国演义》或《三体》的能力。发挥开源的力量,让大家不用再各自闭门造车,重复发明轮子。我也希望随着开源的发展,未来至少能跟闭源相提并论。

第二,小模型速度快,用户体验也好。单机单卡就能跑起来,性价比高。比如 360AI 搜索用了差不多 10 个百亿模型,响应速度比国内所有大模型都快。360AI 浏览器背后也有5个场景大模型,每个模型单干自己最擅长的事,比如说读、翻译、安全等。经过垂直训练,小规模参数的大模型在单项能力上是可以超过 GPT-4的。未来,企业级模型也不需要用千亿大模型,用百亿甚至几十亿的大模型就够了。这样也最容易普及。

第三,360智脑的长文本能力亲测好用,我读论文、看书一直在用。最近 360AI浏览器火了一把,原因是拥有长文本能力。比如我每天需要读各种论文,但是英文又不好,360AI浏览器就能帮助我分析论文。另外现在我确实太忙了,为了保持过去每年读100 本书的速度,我就用这个浏览器帮我读书。扔一本《未来简史》进去,不到1分钟就把简介、重点和脑图都总结出来了,我平时读这样一本书需要2个多小时,现在 10 分钟读完。我有一种读书方法叫“粗读、细读和精读”。每天花 10 分钟让 Al 帮你读一本书,感兴趣的再去细读和咀嚼,坚持一年,起码可以看 50-100 本书,也能缓解职场焦虑。所以我也希望开源这个能力,对更多人有用。(果青)

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2024-03-29
周鸿祎:开源能处理50万字长文本的大模型给大家玩玩
周鸿祎透露,这两天准备开源 360 智脑的一个 70 亿参数大模型。

长按扫码 阅读全文