3月21日消息，2023年，大模型在全球范围爆发式增长，经过一年的狂飙突进似发展后，业内普遍认为2024年是大模型应用落地元年。让企业客户愿意、能够、有效的应用大模型能力，成为大模型企业思考的重点。
自2023年12月以来百度智能云千帆大模型平台服务8万企业用户，累计帮助用户精调1.3万个大模型，帮助用户开发出16万个大模型应用。在这份成绩的背后，百度智能云对服务企业落地大模型了也有了一套心法。
百度副总裁谢广军在接受媒体采访时表示，2024年AI原生应用会加速落地，企业从探索场景逐步走到落地应用，这个时候会遇到模型性能、效果，以及在成本多方面的挑战。综合考量“大模型的使用效果、性能以及成本”即“效价比”，成为企业落地大模型的核心诉求。
百度副总裁谢广军
针对企业最关心的大模型落地场景、使用成本、应用开发、应用效果四大挑战，百度智能云千帆在大模型ModelBuilder、AI原生应用开发工具组件AppBuilder两个方面给出了最新“解题思路”。
一方面，为满足企业“效价比”核心诉求，百度千帆ModelBuilder大模型服务全面升级，全新发布3个轻量级大模型、2个垂直场景大模型。
另一方面，百度智能云对千帆AppBuilder组件能力全面升级，开放工具组件增至55个，进一步大幅降低AI原生应用开发门槛。
通过这两条腿齐发力，以期加速大模型在企业业务中的应用落地。
上新5款大模型 最高推理调用成本下降53%
谢广军表示，当前业界已逐渐形成一个共识，即模型不见得是参数规模越大越好。在很多实际的场景当中，用小尺寸的专家模型也能够达到通用大模型的效果，小尺寸专家模型的推理成本会更低，更便宜。大模型“效价比”才是企业核心诉求。
基于这样的研究方向，百度智能云推出了三款轻量级大模型。
ERNIE Speed作为三款轻量级大模型中的“大个子”，推理场景下拥有最高128k的上下文长度，在处理知识问答等任务时，能够更好的处理上下文的依赖关系，生成更加连贯和准确的预测或回答。同时，针对特定场景可以将ERNIE Speed作为基座模型进行精调，模型效果可以追平甚至超过旗舰级大参数规模大模型，效价比大幅提升。
ERNIE Lite，其参数量相比ERNIE Speed更小，也更加适合搭载在低算力的AI加速卡上处理推理任务，在兼顾模型效果与推理性能的同时，大幅降低客户落地应用成本。作为ERNIE-Bot-turbo模型的升级版，ERNIE Lite在情感分析、多任务学习、自然推理等场景下的应用效果提升了20%。推理调用成本大幅下降了53%。
ERNIE Tiny，三款轻量级模型中参数量最小的大模型，为客户提供了极致低成本、低延迟的最佳选择。在检索、推荐、意图识别等高并发、低延时等应用场景中，ERNIE Tiny的优异性能呈现了不俗表现。在某对话推荐业务场景中，精调后的ERNIE Tiny在搜索引擎推荐词激发环节，相比ERNIE 3.5，对话轮次增长了3.5%，成本下降了32%。
此外，企业在落地应用中，对大模型在人物扮演、外部工具调用均有更高的效果要求。本次千帆大模型平台ModelBuilder还基于对企业场景的深入洞察，结合百度自身业务最佳实践沉淀，推出了ERNIE Character和ERNIE Functions两款垂直场景大模型，分别适配客户在角色扮演类应用场景（如游戏NPC、客服对话等）和工具调用场景（对话中使用外部工具、调用业务函数等）中的使用需求。
谢广军介绍，在企业实践中，某智能硬件厂商，基于ERNIE Character打造智能助理，应用该模型后在人设一致性、激发并提升用户聊天欲望等方面效果显著提升。某旅游出行类APP，使用ERNIE Functions打造智能客服助手，在执行订票、查询航班状态等多种function调用上准确性达到85%。
谢广军强调，新发布的三款轻量级模型主要有两个使用场景：一是客户、合作伙伴会结合自己的数据做垂类场景模型。一是百度也会基于这些小的基座模型，去开发一些行业垂类场景模型，比如做教育行业的教辅答题和解题等。
向量数据库VDB 1.0亮相 开放工具组件达55个
千帆AppBuilder作为产业级AI原生应用开发平台，是千帆的重要组成部分。
此次升级后的AppBuilder开放的工具组件多达55个。包括基于百度多年技术积累和自有业务沉淀的大模型组件、AI能力组件，也包括搜索等百度特色的业务组件、和多场景的第三方API工具，另外还提供了 RAG（知识检索问答）、GBI（生成式数据分析）等根据典型应用场景深入调优的高级能力组件。
开发完成后，应用可多渠道分发与集成，AppBuilder支持将应用一键分发到微信客服、微信公众号、Web端/H5及百度灵境矩阵等主流渠道。基于百度灵境矩阵，应用可在百度搜索、百度信息流等主流场景分发与挂载。真正实现应用开发出来后，就直接触达用户，打通从AI原生应用创建到开发再到分发的全流程。
开发AI原生应用离不开云基础设施，值得一提的是，本次发布的基础组件还包括了百度智能云全新推出的向量数据库VDB 1.0。
谢广军表示，大模型火了之后，向量数据库重要性凸显，它可以帮助减轻幻觉、解决数据数据更新等问题，也是加速大模型在场景落地的关键技术。
百度向量数据库VDB1.0既是一项独立存在的产品和服务，是百度智能云的一项基础设施，也是作为一项基础云的组件和能力封装到了千帆AppBuilder里面。
谢广军强调：“当前大模型落地过程中，向量数据库应用成本相对较高，企业在千帆AppBuilder中组件化利用向量数据库的能力，是一个性价比兼具的方案，相比同类开源产品，VDB 1.0性能最高提升10倍，相比付费产品，则更省成本。”
模型路由，让成本再降15%
会上，谢广军还透露了百度智能云的模型路由服务。百度智能云的模型路由是以降本为目的来做MOE。
谢广军表示，模型路由能够帮助客户在使用场景中，根据不同情况选择不同的能力模型。小模型往往比较擅长垂类场景，但在实际使用过程中，这种场景会非常多，十分泛化，模型路由通过分流，让在某一垂类问题上更专业的专家模型来回答，专业的模型解答专业的问题。相比旗舰模型或者更大尺寸的模型，小尺寸模型也能达到同样甚至赶超的效果，提升性能的同时降成本。如果都不能回答，就让大尺寸的模型或者旗舰模型来“兜底”。
据介绍，通过百度智能云的模型路由方案，有企业客户的模型推理成本降低15%。
谢广军称：“当前，ModelRouter已启动邀测，一些手机厂商客户在应用过程中已经感受到成本的下降，保证业务效果不降的情况下，将简单的Query调度到更轻量级的模型上，使得综合成本下降。”（果青）
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
