突破认知，昇腾 NPU引领新潮流：中科大与华为发布生成式推荐大模型
随着信息爆炸时代的来临，推荐系统已成为我们生活中不可或缺的一部分。近期，中科大与华为合作开发的推荐大模型部署方案取得了显著成果，引发了业界的广泛关注。本文将围绕这一重大突破，从技术报告出发，深入探讨生成式推荐大模型的发展趋势、扩展定律在生成式推荐中的应用、模型的可扩展性来源以及其在复杂场景和排序任务中的表现，并展望未来的研究方向。
首先，我们回顾推荐范式的发展历程。在深度学习兴起之前，推荐系统主要依赖手工设计特征和简单模型。随着深度学习的普及，研究者开始专注于复杂模型的设计，以更好地拟合用户偏好并提升对GPU并行计算的利用率。然而，随着深度学习能力的瓶颈，特征工程再次受到关注。在这个背景下，具备扩展定律的生成式推荐范式正在成为未来趋势。
为了评估生成式推荐大模型在不同架构下的扩展性，我们对比了HSTU、Llama、GPT和SASRec四种基于Transformer的架构。实验结果显示，随着参数扩展，HSTU和Llama的性能显著提升，而GPT和SASRec的扩展性不足。这表明，生成式推荐大模型在解决冷启动问题上具有巨大潜力。
为了探究HSTU等生成式推荐模型的可扩展性来源，我们进行了消融实验。实验结果表明，RAB（相对注意力偏移）的关键作用不可忽视。此外，我们还发现，推荐大模型在性能上不仅受垂直扩展（注意力模块数量）影响，也受水平规模（embedding维度）影响。调整残差连接方式并与RAB结合，为传统推荐模型赋予了扩展性。
在复杂场景和排序任务中，生成式推荐大模型表现出色。HSTU在多域、多行为和辅助信息等复杂场景中表现出色，尤其在规模较小的场景如Digital Music和Video Games上表现卓越。此外，在排序任务中，生成式推荐大模型在性能上显著优于传统推荐模型。
未来研究方向包括数据工程、Tokenizer、训练推理效率等方面。这些改进将有助于解决当前的挑战并拓宽应用场景。
总的来说，中科大与华为发布的生成式推荐大模型是一个重大突破，它将引领推荐系统领域进入一个全新的阶段。这个模型的成功部署，离不开昇腾NPU的强大算力支持。昇腾NPU引领了新潮流，打破了传统的认知边界，为人工智能领域注入了新的活力。我们期待这一成果能在未来的实践中得到广泛应用，为人们的生活带来更多便利。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
