人工智能大模型落地难?昇腾AI三步走打通断点

极客网·极客观察(朱飞)6月22日 人工智能给社会带来的改变,可能已经超乎你的想象!

你知道吗?我国共有2700多万听障人士,他们面临沟通难、就业难等问题。背后的根本原因在于手语知识学习困难,包括手语词汇匮乏、手语师资短缺、手语标准难统一等。如果能有一位手语词汇量丰富、手语“普通话”标准,且能够随时随地在线教学的老师授业解惑,这些困难将得到极大改善。

AI手语老师,正在让改变发生。千博信息与中科院自动化所、华为三方联手,基于昇腾AI基础软硬件平台以及紫东.太初三模态大模型,打造出手语多模态模型并发布手语教考一体机,实现了手语动作与示意图片和文字的联动,让初学者更加方便地理解手语,帮助学生随学随练随考,高效学习,在解决手语师资短缺的同时,还能统一手语“方言”,推广手语标准,大幅改善了特殊人群的学习环境。

1.jpg

与传统的AI开发及应用落地方式不同,手语教考一体机能够深化手语教育领域的智能化转型,得益于业内首个千亿参数多模态大模型紫东.太初的加速使能。紫东.太初是中科院自动化所研发的全球首个视觉-文本-语音三模态大模型,具备跨模态的理解和生成能力,能够让AI交互更加智慧、自然。千博信息基于紫东.太初基础模型,结合自身行业场景的手语数据做增量训练,从而开发出手语多模态模型,并发布手语教考一体机创新产品,实现了跨越式发展。

在6月15-16日举办的华为伙伴暨开发者大会2022上,类似上述以大模型推动AI应用落地的案例正快速涌现。自去年以来,产业界基于昇腾AI先后推出鹏程.盘古、鹏程.神农、紫东.太初、武汉.LuoJia、华为云盘古系列等有影响力的大模型,陆续孵化出多个行业解决方案,加速推动AI在生物医药、智慧城市、遥感、金融、农业等众多领域实现落地应用,赋能千行百业智慧升级,掀起了以大模型产业化推动AI产业化的新浪潮。

2.jpg

而这一切得以发生,与华为着力打造的人工智能大模型全流程使能体系密切相关。大会期间,华为副总裁、计算产品线总裁邓泰华正式发布并详细解读了华为的人工智能大模型全流程使能体系,该体系包含从大模型规划、大模型开发到大模型产业化的全流程,可端到端加速大模型产业落地,为我们展示了一个以大模型产业化推动AI产业化的新范式。

规划大模型沙盘 与产业界共筑中国大模型创新高地

从2020年开始,国外顶尖公司的AI技术发展,越来越像一场比拼资金与人才的军备竞赛,推动AI竞争从2018年前后兴起的“大炼(小)模型”,进入到今天的“炼大模型”时代。大模型的优势不言而喻,但动则上百亿的大参数,也带来了训练成本太昂贵,模型修正不容易等难题,导致本来定位于“不再重复造轮子”的大模型,面临重新陷入粗放式发展的境地。华为看到这一问题,积极联合产业界规划大模型沙盘,牵引产业界建设真正需要的大模型,共筑中国大模型创新高地。

3.jpg

从任务和应用类别两个维度出发,过去的一年,华为携手产业界伙伴基于昇腾AI先后推出了各个领域有影响力的大模型,形成了基础大模型+行业大模型的整体布局。基础大模型面向多行业领域通用需求,行业大模型面向特定行业多应用场景,类似“新基建”中的信息基础设施+融合基础设施,形成既有横向,也有纵深的立体支撑。

值得一提的是,考虑到“炼大模型”对大算力的强需求,华为与产业界在规划大模型沙盘的同时,全国20多个城市也都规划和建设了人工智能计算中心,并已开始将部分算力中心连点成片构建中国算力网——智算网络,以便基于它们的超强算力孵化AI大模型,大幅缩短大模型的训练时间。鹏程、武汉、秦岭、金陵系列大模型的快速推出,正得益于这一布局的强力支持。反过来,这些带有一定地域特色的大模型,又能够结合本地AI算力更好地服务产业。

据大会消息,为进一步鼓励大模型的研究与创新,华为今年将推出昇腾科研创新使能计划,通过资金、算力和技术的扶持,进一步鼓励高校及科研院所基于昇腾大模型沙盘,开展大模型的研究和创新,在前沿领域和热点行业打造出世界级领先的大模型。

打造大模型开发使能平台 让大模型易开发、易适配、易部署

方向既明,算力就绪之后,华为将重心放在了大模型的开发使能这块技术“硬骨头”上。大家可能知道,在华为的AI战略布局中,Atlas系列硬件、异构计算架构CANN、全场景AI框架昇思MindSpore、昇腾应用使能MindX以及AI应用使能ModelArts等共同构成了完善的昇腾AI基础软硬件平台。依托长期的根技术积累,华为建立起了完整的大模型开发使能平台,加速从基础模型开发到推理部署的全流程,让大模型易开发、易适配、易部署。

4.jpg

首先,在基础模型开发方面,华为将昇思MindSpore与ModelArts结合,推出大模型开发套件,通过算法开发、并行计算、存储优化、断点续训重磅特性支撑大模型的高效开发。这其中,作为人工智能之“魂”,昇思MindSpore自诞生起就有着鲜明的产业导向,可以在云、边、端等不同环境下进行开发部署,是并行维度业界最多、模型切分支持结构最全、单机容纳模型参数业界最强的的AI框架,这使其原生支持AI大模型训练,具备实现开发并行代码量降低80%、系统调整时间下降60%、仅用512卡就能完成十万亿模型参数训练的超强能力。

其次,在行业应用适配方面,华为推出基于MindX的大模型微调组件,其预置典型行业任务微调模板,通过小样本学习等手段,实现一键式微调和低参数调优,可以快速适配各种行业应用。

最后,在推理部署方面,推出基于MindStudio的大模型部署套件,其提供量化、剪枝、蒸馏等模型小型化能力,实现10倍级模型压缩率,同时分布式推理服务化能力还大幅提高吞吐率,此外模型动态加密技术,可在保证模型性能的同时对部署的模型进行加密,保护开发者的模型资产。

从科研创新到行业落地 开创人工智能产业聚集新模式

技术维度端到端打通后,大模型下一个最为关键的问题是产业化落地。当前学术界的大模型创新层出不穷,参数规模“竞赛”很是热闹,但真正走到规模化产业部署的还寥寥无几,后续的模型修正和迭代进化也进展缓慢,与此同时很多中小企业、科研单位受限于算力、数据、电力等高昂成本,无法自炼大模型,使得科研创新和产业应用存在断点。

5.jpg

为了打通断点,促进大模型产业化落地,华为充分发挥生态优势,围绕大模型打通产学研用,建立大模型产业联盟,促进产业伙伴直接基于大模型孵化行业应用,实现产业聚集,让大模型真正赋能产业。去年底,基于全球首个智能遥感框架及数据集武汉.LuoJia和全球首个三模态大模型紫东.太初,产业各界成立了智能遥感开源生态联盟和多模态人工智能产业联盟,如今60余家伙伴已陆续孵化出多个行业解决方案。

除了开篇提及的千博信息基于紫东.太初的手语教考一体机创新外,长安汽车、新华社技术局、浙江移动、爱奇艺等多模态人工智能产业联盟成员也分别打造了自己的多模态+智能座舱、多模态+新媒体内容检索平台、多模态+南宋御街数字人、多模态+视频摘要智能平台等场景化大模型及行业应用。智能遥感开源生态联盟下,基于武汉.LuoJia的自然资源大脑、全场景类脑遥感矩阵、耕地保护自然监测平台、智能遥感解译平台等创新成果也不断涌现。

毋庸讳言,产业联盟模式加速了大模型从科研创新到行业落地的进程,同时在这样的大模型产业化落地过程中,各行业领域可以以更为丰富的数据和参数、更泛化的应用场景,来反哺大模型基础能力,让大模型更智能、场景适用性更好,从而迭代升级,为行业应用提供更大的支持,从而形成大模型创新--应用--迭代创新的产业正循环,开启了“炼大模型”的新范式!

据透露,华为今年将支撑伙伴成立AI流体力学、AI生物医药、智慧育种等产业联盟,助力相关领域的大模型创新和产业化发展。

综上,大模型是AI产业加快发展的必然,也是科研创新走向产业应用的关键。华为联合产业界基于昇腾AI开启的“炼大模型”新范式,首次从大模型规划、开发到产业化构建了大模型全流程使能体系,拉通了技术生态与商业生态之间的桥梁,必将加速我国大模型产业化发展,进而推动AI产业化和产业AI化,加速智能世界到来!


(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )