释放数据生产力,如何才能做到最优解?

大数据在线 2022-10-09

原标题:释放数据生产力,如何才能做到最优解?

近年来,数据及其价值被社会各界广泛讨论,俨然成为最为热门话题之一。

事实上,关于数据价值的这一波讨论,看似偶然,其实必然。随着产业互联网的深入,以及《关于构建更加完善的要素市场化配置体制机制的意见》中首次将数据写入生产要素,传统企业逐渐意识到数据形成资产化之后所带来的巨大价值。

因此,如何释放数据生产力就成为众多企业数字化转型中的一道必答题。如今,越来越多传统企业着手构建数据资产体系,希望把数据“用起来”和“用好”。但这绝非易事,因为如今数据从生产到消费的链路愈发复杂,传统的理念和方法论亟待突破。

如何才能打破局面?为此,网易数帆带来了突破性的“数据治理与开发一体化”理念以及数据生产力模型,带来了“人人用数据,时时用数据”的最优解。

从“有数”到“用数”为何如此之难

不可否认,经过多年的“大数据”概念教育,很多行业如今都异常重视数据的采集,有些企业甚至都拥有庞大、且丰富的数据集,却无法很好地实现数据驱动日常的决策、运营和创新。

造成这种局面的核心原因主要有三个方面。

  1. 首先,业务场景发生巨大改变,基于数据驱动的业务场景正在迅速兴起,彻底改变了数据的使用范式。
  2. 其次,新场景带来了数据量、数据类型不断走向丰富,与数据处理、分析相关的技术也是层出不穷、应接不暇,从数据库、数据仓库,到数据中台、数据湖,甚至现在热门的湖仓一体、DataFabric,大部分企业并无掌控新技术的能力。
  3. 第三,数据消费人群规模、类型今非昔比,任何员工都可能是业务中的数据重度消费者,但大部分企业目前在组织架构、数据文化等方面尚未调整到位,不足以支撑起企业“用数”和“用好数”的需求。

面对当前数据市场里越来越旺盛的需求,当前市场中却处于比较尴尬的局面。“市场不缺供应商,但却鲜有一套合理、经过验证的方法论能够帮助用户把数据资产用好。”网易数帆大数据产品线总经理余利华如是说,“很多企业通常是走一步看一步,先建设再说,缺少整体和长远的考虑。”

为此,网易数帆基于超过300+行业头部客户、10+行业覆盖的实践上,针对目前大部分企业在“数据治理”和“数据开发”等领域遇到的挑战,在今年的网易数字+大会上推出了数据生产力模型和“数据治理与开发一体化”理念,为释放数据生产力寻找到一条可行之路。

数据开发治理一体化让“用数”有解

“数据治理”目的是实现数据资产安全可控、质量高和容易消费,乃释放数据生产力的基础前提。

如果说数据如水,滋润数字经济时代万物生长;那么“数据治理”则恰如治水,释放数据生产力或造成数据泛滥均维系于此,其重要性堪比数据本身。

不过,“数据治理”拥有多年历史,并非新鲜事物。但随着千行百业数字化转型的深入,用户数据驱动和数据创新的需求亦产生重大转变,让数据治理的复杂性今非昔比,传统的数据治理理念、方法论很难适应需求的变化趋势。余利华认为:“多数情况下,企业对于数据治理并无规划,并且治理与开发脱节,容易陷入运动式治理和恶性循环。”

具体来看,很多企业在数据治理领域首先采取的是先污染后治理,开发与治理体系割裂;当遇到数据问题越来越多之后,则通过运动式治理来解决数据问题,治理效果无法有效衡量和持续反馈;并且很多企业的数据治理范围往往局限在湖内,无法对大量湖外数据进行治理;最终形成的数据资产,往往存在找不到、看不懂和信不过的尴尬情况。

“造成这种情况的核心原因在于,数据治理是旁路系统,上不能深入到应用环境,下达不到开发环节。”余利华坦言道。

为此,围绕数据治理与数据开发脱节这个难啃的硬骨头,网易数帆的数据生产力方法论提出了“数据治理开发一体化”理念,即“先设计后开发”,将数据标准定义、指标规范定义、模型设计和数据开发体系连接在一起,让数据治理流程自然融入到数据开发的全生命周期过程中,在数据开发过程中即可完成数据治理,实现研发治理一体化,从而帮助用户在数据治理方面取得长效治理。

例如,数据标准定义了数据取值范围、安全特性和类型,将数据标准与数据质量相结合,自动生成集合规则,则可以在数据测试阶段看到数据质量报告,在线上运行阶段可以收到数据治理告警;数据标准与安全中心结合,则可以得到加密、脱敏的规则,构建数据安全等级,实现数据开发治理一体化。

元数据管理也是治理能力中关键的一环,网易数帆在技术元数据之外对管理元数据、业务元数据的覆盖,使得产出的数据资产具备了可理解性。此外,网易数帆还通过大数据健康评估体系实现大数据的健康诊断,并且利用数据治理运营三板斧形成数据治理运营的改进闭环;而且还能实现湖内、湖外数据统一治理,以及统一的数据资产门户,从而帮助用户不断提升数据治理的效果。

“数据治理过去的理论和方法在当下的确存在巨大短板。网易数帆对数据治理理念进行大胆创新与实践,如今在多个行业客户中得到落地。未来,网易数帆还将打磨全链路大数据产品和技术能力,持续做好数据治理。”余利华补充道。

数据生产力模型:理论+实践的最优解

如果说数据治理是释放数据生产力的基础,那么要想彻底释放数据生产力,则必须从数据全生命周期的整体视角带来最优解。为此,网易数帆基于过去各种理论和自身长期实践,推出了数据生产力模型。

据悉,网易数帆数据生产力模型包含DataOps、DataFusion、DataProduct三大内核和数据技术、数据资产、数据应用、数据运营四要素。

具体来讲, DataOps是一种将软件工程CI/CD的方法融入数据开发的流程,基于自动化的数据测试、任务发布等技术,构建数据发布流水线,使得数据开发效率更高、交付更加频繁,交付质量更有保障;DataFusion则是面向分析的数据治理,在传统数据治理的基础上,将数据治理融入到数据开发之中,形成开发与治理一体化;DataProduct则是通过数据产品化来打通数据到决策的转化链路,实现数据到决策转化。

而从企业实践的角度,打造数据生产力离不开数据技术、数据资产、数据应用、数据运营四要素的共同作用,四要素提供了三大内核落地的路线图。网易数帆认为,沉淀数据资产是核心所在,不仅符合企业追求数据价值的初衷,更容易获得各层级各角色的感知与认同,也让实现数据开发与治理一体化的意义更加鲜明。

数据生产力模型最难能可贵之处在于,它既充分汲取了互联网公司在数据技术、数据理念和数据创新方面的可取之处,又从服务众多传统行业的过程中获取了丰富的实践经验,以此来帮助企业建立数据资产管理体系和实现数据资产化。

正如余利华所言:“数据生产力模型是网易数帆融会贯通+创新的结果。”目前,数据生产力模型已经在金融、制造、医药、物流等多个行业得到实践。

以东北证券为例,该公司选择与网易数帆合作从0到1搭建数据治理体系,希望实现数据的资产化、价值化和智能化,支撑数字化转型。结合组织架构、业务流程的梳理及网易数帆全平台产品引入,通过元数据管理、数据标准、数据安全等能力,东北证券完成了数据资产的构建。目前,东北证券已完成核心系统30000余张表的全量元数据采集,数据资产的质量提升和完善累计注册2814项,形成179个基础数据标准,累计沉淀400余项数据质量规则,并建立了覆盖数据分级分类的数据安全体系。

资产建立之后,相比此前BI需要到底层数据库获取数据的方式,此时通过数据资产拖动BI,效率、准确性和口径一致性都更加有保障。

面向未来,企业在数字化转型过程中所形成的变革能力、敏捷能力、生态能力、数字化产品与服务能力均是以数据为基础,企业建立数据资产管理体系和实现数据资产化是大势所趋。“网易数帆的生产力模型希望帮助企业充分激活数据生产要素活力,将数据与业务相结合,沉淀企业数据资产,从而实现数字化转型发展。”余利华最后表示道。

(免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com)

标签数据
  • 大数据在线
    邮箱:caoceng@fromgeek.com
    聚焦云计算、大数据、人工智能等新一代信息技术,用文字报道产业价值。
    分享本文到