亚马逊云科技陈晓建:重塑云基础设施,端到端发力释放生成式AI潜能

12月15日消息(岳明)作为全球云计算行业创新的风向标,一年一度的亚马逊云科技re:Invent大会备受产业界瞩目。在此次大会上,亚马逊云科技围绕底层基础设施、生成式人工智能、数据战略等推出了一系列新服务及功能;此外,针对机器学习训练和生成式AI应用等广泛的工作负载,亚马逊云科技推出新一代自研芯片Amazon Graviton4和Amazon Trainium2。

12月12日,亚马逊云科技2023 re:Invent中国行城市巡展活动开启,将覆盖北京、上海、广州、深圳、成都、青岛、南京、西安、杭州、长沙 10 座城市。在北京首站活动上,亚马逊云科技大中华区产品部总经理陈晓建表示:“亚马逊云科技在基础设施、计算、存储、数据等领域持续重塑云计算,并围绕当今最具变革性的技术生成式AI推出重磅新服务及功能,希望通过这些技术创新帮助更多企业加快创新速度,利用生成式AI全面重塑未来。”

性能+性价比+韧性:重塑云基础设施

陈晓建指出,亚马逊云科技一直秉承着逆向工作法(Working backwards)的理念,从数百万客户的需求出发构建产品。作为云计算开拓者,亚马逊云科技一直通过最安全、最可靠的企业级能力来赋能客户应用,拥有业界最广泛、最深入的功能。

身受才能感同,在运营Amazon.com电商业务时,亚马逊云科技亲身经历了配置和管理IT基础设施是多么的困难和昂贵,这也是亚马逊云科技重新思考如何管理和提供IT基础架构的初衷。“我们希望任何人都能够拥有和全球最顶尖公司一样先进、强大的IT功能。通过按需、安全、可靠并且经济高效的云计算服务,重塑IT基础设施,从根本上做到技术普惠。”

目前,亚马逊云科技的基础设施已经覆盖于全球32个地理区域,还有5个区域即将推出,这些区域提供了全球完全一致的体验、高可用和灾难恢复能力。与很多公有云服务提供商不同,亚马逊云科技的每个区域都由3个或者更多的可用区组成,完全物理隔离,通过毫秒级的冗余光纤网络互联,帮助客户实现自身业务系统韧性。

除了全球布局的数据中心,亚马逊云科技通过Amazon Local Zone、Amazon Outposts、Amazon Snowball、Amazon Private 5G等服务,把云从中心拓展到边缘,并且还通过Amazon Ground Station加速卫星数据上云,把云计算带入太空。比如,亚马逊推出的“Kuiper计划”,通过数千颗近地轨道卫星来组成的卫星网络,为数亿个缺乏可靠的互联网连接的用户提供更加快捷、可靠的宽带服务,并帮助他们缩小数字鸿沟。除了公共互联网连接之外,Kuiper还将提供企业级的专用连接服务。这些服务预计将于2024年下半年开始测试。

在数据中心内部,亚马逊云科技对云计算的“重塑”更值得关注。

存储方面,亚马逊科技虽然没有发明存储,但2006年推出的Amazon S3对象存储服务,却重新定义了业界对于存储的理解。Amazon S3提供了高度持久、高性能的对象存储,并且容量可以无限拓展。目前,Amazon S3可以提供丰富多样的存储层级,以及智能分层功能,帮助客户选择适合当前业务的层级,降低管理复杂性,最大限度地降低使用成本。

针对 性能处理的金融交易分析、欺诈检测、基于机器学习的量化交易等特殊场景,亚马逊云科技推出了全新架构的Amazon S3 Express One Zone。它使用专门的硬件和软件,并且将存储访问的数据和高性能计算应用就近部署,提供毫秒级延时,支持每分钟数百万次请求。与标准版相比,性能提升了10倍,但总成本降低40%,“事实证明,鱼与熊掌可以兼得。”

计算方能,亚马逊科技在不断重塑通用计算芯片。“十年前我们就意识到,想要提供极致的性价比,就需要考虑设计自研服务器芯片。”2018年,亚马逊云科技推出了业界第一款自研通用芯片Amazon Graviton,在随后的几个版本迭代中,大幅提升了性能,同时带来了可观的成本节约。在2023 re:Invent上,亚马逊云科技发布了最新的Amazon Graviton4,较上代产品拥有超过50%的核心以及75%的内存带宽提升。

在云原生时代,Serverless作为一种全新的开发模型,正在得到越来越多企业级用户和开发者的青睐。作为业界率先推出Serverless服务的云提供商,亚马逊云科技在Serverless上的版图在不断扩展,从底层的计算和存储领域,逐渐扩展到数据库服务等高端应用。在数据库服务方面,亚马逊云科技推出了Grover系统、Caspian协同资源管理系统、Amazon Aurora Limitless Database(可自动扩展分布式分片)、Amazon Time Sync Service等极具创新性产品,实现更多的Serverless数据服务。除此之外,亚马逊云科技还将AI能力集成到Serverless服务中,通过AI模型主动预判Serverless工作负载并予以优化,提升数据仓库的的弹性能力。

三个层面端到端发力:释放生成式AI无限潜能

陈晓建指出,生成式AI正在以意想不到的方式提供生产力,同时也在激发人类的智慧和创造力,亚马逊云科技相信生成式AI和业务的结合会充满着无限的可能性。

生成式AI愿景美好,但是现实是残酷的,每个企业在落地生成式AI时都会碰到非常多的挑战:如何兼顾规模和成本,如何选择最适合的生成式AI模型,如何保证自身业务的安全性和隐私,如何利用私有数据去训练模型,让生成式AI模型成为领域专家,问题不一而足。

面对这些问题,亚马逊云科技给出的答案是“端到端全栈持续投入。在底层,亚马逊云科技提供用于训练基础模型和模型应用的基础设施;中间层,提供访问基础模型的最便捷方式,让没有AI经验的构建者,直接获得应用生成式人工智能所需的所有工具,来构建AI应用;在应用层,亚马逊云科技提供基础模型构建的“开箱即用”的应用程序,让没有技术基础的业务用户,也能在具体场景中直接使用生成式AI。

底层基础设施层面,亚马逊云科技的关注点始终是性能、成本和最终经济效益。作为最早将GPU加速计算芯片带入云端的云服务厂商,亚马逊云科技在Amazon EC2 P3的实例中率先提供了NVIDIA V100 GPU;在今年,又在Amazon EC2 P5实例中引入了NVIDIA H100 GPU,提供了惊人的性能。GPU单芯片算力只是一方面,高性能服务器集群同样是模型训练的关键。Amazon EFA可以提供了高达3.2T的网络互联能力,客户可以在单个集群中部署多达两万个GPU芯片的超级规模集群,提供相当于20个EFLOPS的集成算力,等同于一台超级计算机。

当然,对于生成式人工智能而言,超高性能并不是唯一,“用户还需要有更多的选择,包括极致性价比。”在2018年,亚马逊云科技推出了第一代Amazon Graviton芯片,专门用于AI训练(Amazon Trainium)和推理(Amazon Inferentia)。随着数据量越来越大,模型的规模越来越大,需要不断地提升性价比,亚马逊云科技推出了Amazon Trainium2,与上代产品相比,性能提升了四倍,特别针对于数千亿甚至数万亿参数的大模型训练进行了调优。

硬件性能的充分释放,离不开软件的配合。亚马逊云科技推出了Amazon Neuron软件开发工具包,可以帮助用户更好、更快捷地使用定制化的训练和推理芯片。Amazon Neuron支持Tensorflow、PyTorch常用的ML框架,客户通常只需要几行代码,就能够利用他们已有的知识构建训练和推理管道,将应用移植到全新的硬件堆栈上来。

不过,并不是所有用户都具备从基础设施层到应用层的完整实施能力,如何对众多的大模型进行甄别,如何快速部署,如何让大模型与自身业务数据和应用进行融合,如何保证在数据训练之中业务和数据的隐私和安全性等问题,亚马逊云科技给出的答案是Amazon Bedrock。

作为承上启下的中间层,Amazon Bedrock是个全新平台,可以帮助用户以一个API极简的方式来进行模型选择,并且可以支持使用企业自有业务数据进行模型定制,通过久经考验的云安全的方式,比如TLS(传输层安全性协议)加密、IAM(身份和访问管理)身份认证、网络隔离等,最大限度地保证业务数据的隐私。

Amazon Bedrock提供了广泛的模型选择,除了亚马逊云科技自研的Amazon Titan模型,也可以支持Anthropic最新的Claude2.1模型,以及Meta Llama 2等开源大模型。其中,Amazon Titan沉淀了亚马逊在机器学习、人工智能方面超过25年的实践经验,以构建负责任的模型作为首要原则,可以提供一系列功能强大和经济实惠的模型,为用户提供最好的解决方案。Amazon Titan支持多模态应用,基于Amazon Titan Multimodal Embeddings功能,可以直接创建更丰富的多模态的搜索和应用体验,快速生成、存储和检索嵌入信息,该功能已经商用。

Amazon Bedrock支持RAG增强检索生成、定制化微调以及持续预训练等工具能力,能够让生成式AI具备更强的针对性。与此同时,亚马逊云科技还推出了Amazon Bedrock Agents功能,能够把大模型和生成式AI相连接,现在已经正式可用。

在最上层的应用层,亚马逊云科技推出了全新的生成式AI助手Amazon Q。Amazon Q可以通过自然语言交互来快速获得答案。出于安全和隐私保护,Amazon Q支持身份识别,需要使用身份和访问权限来进行访问。

陈晓建指出,Amazon Q的应用场景非常广泛。比如在开发者场景,开发人员可以询问Amazon Q任何有与产品相关的问题,而且是通过自然语言的方式。“只要问一个简单自然语言的指令,Amazon Q就可以帮助我们生成相应的代码,进而完成一系列操作。”再比如在商业智能BI场景,在Amazon Q的能力加持下,可以通过聊天记录,通过文本的自然语言方式,更轻松的展现BI工作,生成概要总结。

“生成式AI时代,用户不仅需要拥有一个强大的模型,还需要拥有一个强大的数据底座。不仅需要全面的数据能力,还需要数据能力能够在不同的环境之中可以打通,在不同的产品之间可以流通。”陈晓建表示,“亚马逊云科技所提供的是一个完整的、全面的、端到端的数据服务,用户需要这样的广度和深度,才不会为了成本、性能和规模去妥协。”

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2023-12-15
亚马逊云科技陈晓建:重塑云基础设施,端到端发力释放生成式AI潜能
亚马逊云科技陈晓建:重塑云基础设施,端到端发力释放生成式AI潜能,C114讯 12月15日消息(岳明)作为全球云计算行业创新的风向标,一年一度的亚马逊云科技re:In

长按扫码 阅读全文