极客网·人工智能4月6日 ChatGPT大火带动AI又一波热潮,不过业界普遍认为,当AI 步入大模型时代,只有大企业和超级富有的企业才玩得起AI,因为AI大模型的打造非常昂贵。
首先是计算昂贵。多伦多大学市场营销教授Avi Goldfarb说:“如果你想创办一家企业,自己开发大语言模型,自己计算,成本太高了。OpenAI是很贵的,要数以十亿计的美元。”租赁计算当然会便宜不少,但企业仍然要向AWS等企业支付昂贵费用。
其次是数据昂贵。训练模型需要海量数据,有时数据是现成的,有时不是。Common Crawl和LAION等数据可以免费使用,对于此类数据,成本主要来自数据清理和处理,成本变化很大,可能是几百美元,也可能是几百万美元。
Glean公司创始工程师Debarghya Das说,在美国,根据大语言模型论文做一些粗略的数学计算,如果用的是Facebook LLaMA,训练成本(不考虑迭代或者出错)大约是400万美元,如果是谷歌PaLM,大约2700万美元。
即使用的是免费数据,成本也不低。Hugging Face公司研究人员Sasha Luccioni说:“当你下载容量达到TB的数据,如果想过滤或者以某种特殊方式利用数据,比如用文本-图片模型处理(研究人会专注于某些数据子集,这样模型才会变得更好),整个过程相当棘手。”需要强大的计算力,需要大量专业人士。
再次,专业人才的聘请费用也很高。Debarghya Das在做上述估算成本时没有考虑人力成本。Sasha Luccioni指出:“机器学习专业人士的薪酬很高,因为要与谷歌及其它科技巨头争夺人才,有时一位专业人才可能要几百万美元。”2016年OpenAI最顶级的研究人员薪酬约为190万美元。
并且,训练模型、聘请专业人士的成本不是一次性的,是持续的。例如,如果开发的是客服聊天机器人,每周或者每几周就要优化。模型还要经受压力测试,确保它生成的答案不出错。正如Sasha Luccioni所解释:“最贵的成本来自持续性工作,必须持续测试模型,必须确保AI所做的和预期一样。”
最后,持续运转费用也不低。当一切准备妥当,模型向公众开放,每天要接受成千上万次询问,此时要确保模型可扩展、高度稳定,维护成本也很高,且需要专业人士来处理。
- 必应聊天放宽限制:每轮会话最多支持30次交流 每天上限增至300次
- AI提升编程效率,但过快过多生成代码并不是好事
- 业内人士透露英伟达A100、H100等供不应求 但部分厂商将优先供应
- 专访亲宝宝冯培华:探索母婴领域“类ChatGPT”的大模型应用产品
- 魔搭社区举办AI编程马拉松大赛,获胜队伍有望共享千万美金风投资金池
- OpenAI将用新方法来训练模型 以对抗人工智能“幻觉”
- 用AI查询癌症相关问题,ChatGPT的回答靠得住吗?
- 推动安防行业新升级 360智慧生活举行视觉大模型及AI硬件新品发布会
- 给大模型100瓶毒药!业内首个AI治理中文数据集让知名学者担任标注工程师
- 周鸿祎:多模态大模型+物联网 是下一个风口
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。