作业帮受邀参加CCF夜莺开发者创新论坛 分享监控数据治理的实践

日前，由中国计算机学会（CCF）主办，CCF开源发展委员会及夜莺项目开源社区承办的第二届 CCF 夜莺开发者创新论坛在京召开。本届论坛聚焦可观测性数据治理、标准化、可扩展性、eBPF、AI提效、故障诊断等方向，助力推动可观测性技术的研究落地。作业帮作为国内领先的教育科技公司，在数据治理领域有着丰富的实践经验，作业帮运维负责人聂安在论坛上从技术运营视角分享了监控数据治理的实践。

随着业务的高速发展以及数据分析体系的日益完善,数据成为业务日常运作中重要的指南针和风向标。观测数据的生命周期能够通过全生命周期管理和透明化管理，提升数据资产的价值，确保数据质量和合规性。在分享中，聂安以作业帮观测数据Metric为例，介绍了数据生命周期治理的要点。

观测数据的生命周期覆盖了数据的整个生命周期，一般包括建模、生产、收集、处理、存储、使用这几个环节，确保数据的准确性、一致性、安全性和合规性。此外，数据生命周期治理是一个持续的过程，需要企业从数据的提取、治理到安全保障等各个环节进行精心设计和规划。

作业帮的数据生命周期治理专注于多个层面，包括策略制定、数据分类、存储、安全性和质量检查。从观测数据的全生命周期来看，各个环节应该如何治理？聂安介绍，数据生产阶段，尽量利旧，在服务治理框架层面统一埋点；数据收集阶段，引入 pipeline，比如 telegraf，统一规范化指标命名；数据处理阶段，标签 enrichment，流式聚合，场景化聚合；存储使用阶段，建议参考数据分析领域的实践思路。

聂安在分享的最后提到，从生命周期的视角看，观测只是数据分析的一个子域，它还很年轻、理念还在不断演化。要充分做好企业通盘的数据分析，强化数据观测的价值。作业帮技术团队服务于作业帮所有业务，经过多年的积累，在语音识别、自然语言处理、图像和OCR识别、大数据等技术领域拥有超200+的高精尖技术专利。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。