华为云发布新一代昇腾AI云服务 单卡推理性能达2300 Tokens/s
在华为开发者大会上，华为云计算CEO张平安正式发布基于CloudMatrix384超节点的新一代昇腾AI云服务。该服务通过高速网络MatrixLink实现384颗昇腾NPU与192颗鲲鹏CPU的全对等互联，构建出超强AI算力平台。
据悉，新一代服务单卡推理吞吐量提升至2300 Tokens/s，性能表现突出。针对大模型训练场景，支持432个超节点级联，最高可扩展至16万卡规模的超大规模集群。同时，该架构创新性地实现了训推算力一体化部署能力。
华为云此次技术升级将显著提升AI计算效率，为万亿参数级大模型训练提供强有力的基础设施支撑。该服务的推出标志着国产AI算力平台取得重要突破。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
