AI超算启幕:进化的鹏城云脑,进击的华为AI

极客网·极客观察(朱飞)11月29日 人工智能一词自1956年提出以来几经沉浮,终于在最近几年重获新生并取得飞速发展。作为一种通用技术,今天的AI已经不是单独的存在,而是与云计算、大数据、IoT、5G网络等紧密结合,形成一股强大的智能联接及智能计算能力,助推千行万业开展智能化升级。

面向智能时代,随着自动驾驶、4K/8K视频、AR/VR、物联网等应用的兴起,社会的生产力、生产资料和生产工具全都随之改变。其中,算力已成为新生产力,数据成为新生产资料,而5G、AI和云等成为了新生产工具。

权威调研报告预测,到2025年全球数据总量将达180ZB,是2018年数据量的5.5倍。为了更好地让算力匹配日益暴增的数据的分析处理需求,近两年来AI正在和云与网络深度融合,以云AI的形式集聚强大、高效、可扩展、经济适用的AI算力,支撑千行万业日益攀升的AI计算需求。

在此背景下,全球主要企业都在积极构建自己的AI超级计算平台。国际上,谷歌、英特尔、英伟达都在着力打造AI导向的大型数据中心。在国内,过去两年间由BAT和华为等企业担纲的,瞄准不同行业或技术门类的15家国家新一代人工智能开放创新平台已分批确立。

不止于企业层面,全球领先国家在发布国家级的AI战略后也拿出了国家级的推进计划。比如美国启动了“国家人工智能研究院”项目,韩国政府提出到2022年将创设6个AI研究院,日本举国发力计划到2025年每年培养25万名AI人才,中国众多的产业/行业大脑、城市大脑也相继问世……

毫无疑问,全球AI超算的大幕已经开启!从AI研究院到AI平台再到AI人才,新一轮的竞争已轰轰烈烈展开。在这一新形势下,让我们透过中国一个领先的AI大脑平台,一家领先的AI计算企业,以及它们之间交汇碰撞的故事,一窥AI超算的秘密,以及整个AI计算的诗与远方。

“平行发展”的鹏城云脑与华为AI

要了解鹏城云脑,首先得了解鹏城实验室。鹏城实验室是广东省2017年12月首批授牌的省实验室,正式成立于2018年3月31日,是一个服务国家战略利益、肩负重要历史使命的创新基础平台。其中,鹏城实验室的三大重点任务之一就是布局新一代人工智能基础研究,即打造鹏城云脑(CloudBrain),使之成为一个服务重大工程项目的人工智能开源开放平台。

鹏城云脑面向全国,为人工智能基础研究和应用基础研究提供多层次、多样化的资源环境支撑,服务我国人工智能领域创新发展。在2018年的一期工程中,鹏城云脑初步建成上线运行了以“鹏城云脑-1”为核心P级计算系统;二期“鹏城云脑-2”计划实现1000P AI算力,使得鹏城云脑成为一个1000P AI超算系统,成为面向未来的科学研究和探索平台。

时空的平行线上,华为于2018年10月正式发布了AI战略及全栈全场景AI解决方案,包括全球首个覆盖全场景人工智能的华为昇腾系列芯片,以及基于华为昇腾系列芯片的产品和云服务。随后的时间里,华为陆续发布了昇腾310芯片以及数款基于昇腾310芯片的AI计算产品——华为Atlas人工智能计算平台逐步成型。

今年9月,华为首次发布整体计算战略,并重点强调了AI计算,并基于稍早前发布的昇腾910芯片重磅推出全球最快AI训练集群Atlas 900。同时,在这一年左右的时间里,华为此前宣布的训练和推理框架MindSpore、芯片算子库和高度自动化算子开发工具CANN、一站式AI开发管理平台ModelArts等AI计算关键组件也纷纷成熟就位,与多种Atlas计算产品一起构成了华为覆盖端、边、云全场景的丰富而完善的AI计算平台。

基于Atlas 900集群的美妙交汇

Atlas 900甫一问世,这款汇聚了华为十多年技术沉淀,由数千颗昇腾芯片组成的AI集群就以超强性能惊艳了众人。在衡量AI计算能力的金标准ResNet-50图片分类模型下,Atlas 900只需59.8秒就完成了训练,在同等精度下比原来的世界纪录快了10秒!正是这样的巅峰算力表现,为原本平行发展的鹏城云脑与华为AI计算的相交创造了机会。

一边是想要构建1000P AI超算系统的鹏城云脑,一边是刚刚拥有AI算力高达256~1024 PFLOPS@FP16的华为AI计算,双方的需求与能力刚好契合,于是美妙的交集发生了——鹏城实验室决定利用华为技术构建鹏城云脑AI超算系统,也即在“鹏城云脑-2”中采用华为Atlas 900集群,面向未来构建1000P AI超算系统。

在9月的华为全联接大会上,中国工程院院士、鹏城实验室主任高文院士就登台分享了鹏城实验室基于华为Atlas 900集群打造“鹏城云脑-2”的平台规划,透露其是一个动态进化的1000P AI超算系统,包括AI集群规模的计划以及AI功能的计划。如今两月多时间过去了,鹏城云脑与华为AI计算的合作进度到什么地步了呢?

11月30日,双方在鹏城实验室所在地深圳召开鹏城云脑Ⅱ基本型系统发布会,公布了最新进展。据高文院士介绍,鹏城云脑Ⅱ原型系统实现了100P的算力,并计划到明年底扩展至1000P AI算力。据悉,双方目前正在联合攻坚AI集群的规模进化以及AI功能的进化,解决散热、组网等影响集群扩展的关键问题,为实现1000P AI算力扫清障碍。

同日,鹏城实验室还与深圳市政府就一系列重大项目签约,向卫生健康、公安交警、巴士交通、政务等场景提供鹏城云脑强大的AI算力,支撑市政重大项目智慧升级。同时据介绍,不断进化、动态升级的鹏城云脑还将持续向国内外的科研机构、高等院校等组织提供云端AI算力,充分发挥华为Atlas 900集群的优势,搭好科学研究和探索的地基。

AI超算与AI计算的“诗与远方”

除了鹏城实验室的鹏城云脑展示的面向未来的科学研究和探索,AI超算还有哪些应用场景呢?其实参照超算的发展史可以发现,凡是那些需要天文次数的计算、需要天文数字的算力的场景,都可以使用AI超算系统获得更强的算力、更高的效能、可扩展性以及经济适用。

比如Atlas 900集群可广泛应用于科学研究与商业创新,例如天文探索、气象预测、自动驾驶、石油勘探等领域。相比传统解决方案,同样达到256 PFLOPS的算力,经测算如果采用通用CPU需要6195个机柜,采用GPU需要208个机柜,而采用NPU只要16个机柜。

最终,基于昇腾架构对深度学习业务的优化,以及芯片优化之外增加的如板级液冷、柜级密闭绝热等系统级优化,华为Atlas 900集群只用了16个机柜就实现了256 PFLOPS的算力,并且将功耗从40000千瓦降低至736千瓦,以AI之力取得了更好的效能和经济适用性。

这样巨大的优势,使得Atlas 900集群在诸多需要超级计算机的场景更具竞争力。比如在天文探索领域,华为联合上海天文台与SKA,用Atlas 900对来自于SKA射电望远镜的海量数据进行分析和计算,只用10秒就能从20万颗星星中检索出相应特征的星体,轻松完成过去一个天文学家需要耗费169天才能完成的工作量。

仰望星空,人类从未停止对未知的探索,比如宇宙原来是什么样子?第一个星系何时形成?行星是如何形成的?现在有多少引力波穿过了我们的身体?外星生命存在吗?这些宇宙的终极奥秘,都需要基于天文望远镜的精确观察和科学推理,尤其是对收集到的海量天文数据做分析处理。这,就是AI超算最典型的应用场景。

一言以蔽之,AI超算系统不仅提供充沛的AI算力,还可以创造出一些全新的研究方法,以机器学习之力突破人类脑力及体力极限,让天文探索、气象预测、自动驾驶、石油勘探等需要处理海量数据的领域快马加鞭。

为了让各行各业获取超强算力,除了向鹏城大脑、上海天文台与SKA这样的机构合作外,华为立足“鲲鹏+昇腾”双引擎,自发布之日其已将Atlas 900部署到云上,推出华为云EI集群服务,并以极优惠的价格面向全球科研机构和大学开放申请使用,做好了充分释放AI超算洪荒之力的准备。

当然,除令人神往的AI超算外,整个AI计算的应用场景也在与日俱增,将AI强大算力及智慧能力从云端数据中心带到终端设备和边缘节点,让AI算力全面渗透,让智能无所不及。比如上面提到的针对不同行业或技术门类的15家国家新一代人工智能开放创新平台,正在将AI计算带入基础软硬件、智能语音、视觉计算,以及智慧城市、医疗影像、普惠金融等领域。

华为预计,5年后AI计算所消耗的算力,将会占到全社会算力消耗总量的80%以上,计算正在进入一个新的智能时代。为此华为基于昇腾系列AI处理器,打造了面向端、边、云的全场景AI基础设施方案,日益完善Atlas人工智能计算平台,为千行万业的企业及组织提供AI计算的“底座”。

在终端,包括手机、PC、平板、TV、耳机、音箱在内的智能设备,都逐步具备了AI计算能力。它们与云端数据中心的协同,一起交付了今天令人称奇的消费科技体验;在边缘,各行各业的IoT设备正在借助边缘数据中心的“本地化”服务能力,提供实时、安全、经济的边缘计算服务。它们与云端数据中心的协同,正在将统一训练、统一部署、统一管理的AIoT模式迅速扩展。在云端,大量数据中心都在积极向AI数据中心转型,以云AI应对AI算力需求的飙升。

总而言之,端侧的个性化计算、边缘侧的专业化计算、中心侧的通用模型计算已经全面启幕且协同发展,助推千行万业进入了一个端、边、云全场景覆盖的AI计算新时代,搭好了通往智能世界的桥梁。面向智能世界,每一个人的学习、工作和生活环境都将被AI重塑,人类将能够进一步解放生产力、解放自己,获得前所未有的智慧能力和自由度。

总结:

“我们处在爆炸式创新的前夜。” 11月21日,任正非在英国《经济学人》年度特刊“The World in 2020”上发表署名文章中称,“我们坚信,在未来二三十年内,人类社会必须进入智能社会。今天,人类社会正处于新的理论和新技术即将爆发的前夕。发展潜力巨大,但仍有许多不确定因素。许多问题仍然存在,但开放创新是最好的解决办法。”

结合上文可见,鹏城实验室的鹏城云脑和华为的AI计算经过各自的平行发展,然后因AI算力需求飙升而形成交集,为迎接爆炸式创新的到来做出了开放合作、协同创新的准备。这非常令人欣慰和振奋,因为面向未来,无论是仰望星空的科学研究与探索,还是深入行业的数字化转型与智能化升级,咱们中国都有富有远见卓识的组织和企业在筑基、在耕耘、在牵引。

大风起兮云飞扬,AI超算扬帆起航,AI计算全面渗透,智能世界的大门已经打开,你准备好投入这个人工智能终将无所不及的大航海时代,迎接自己的诗与远方了吗?