爱奇艺数据中台建设方案.ppt

发布时间：2022-11-12 10:47:31 所属栏目：大数据来源：

导读：　　大家好，我是一哥，今天给大家分享下爱奇艺数据中台建设时间方案，本文主要内容包含以下几部分：

　　一、数据中台的产生

　　1、数据工作的痛点

　　使用门槛高：数据工作是一个专业性特别强的一个

　　大家好，我是一哥，今天给大家分享下爱奇艺数据中台建设时间方案，本文主要内容包含以下几部分：

　　一、数据中台的产生

　　1、数据工作的痛点

　　使用门槛高：数据工作是一个专业性特别强的一个工作，对于人员的要求比较高。口径不一致：在使用数据过程当中，口径不一致是特别常见的一种问题，这种问题可能会导致一种数据使用和分析的差异，而且会降低业务的数据分析效率。数据可靠性低：在生产过程中，降低业务的数据分析效率，最终会对业务决策造成严重的影响，不仅数据链路过程很长，其中还会引入很多数据质量问题。跨业务难度大：因为缺少一个统一的数据建设的规划、标准和规范，所以难以指导各个业务或者整个生产链路的各个环节，以拥有一个标准化的生产和处理过程，就导致了多个业务的数据难以融合，难以发挥更大的数据价值。接入成本高：如果有新的业务接入或者新的场景需要使用数据，很多工作都需要人工处理。去申请各种资源、权限、找数据并且串联整个数据的采集、生产、计算、同步和展示等各个环节，这是一个耗时长、效率低，最终还是很容易出错的过程。投递质量低：说到数据的话肯定离不开投递，投递是用来记录用户行为的一连串的数据信息。如果投递过程缺少标准化或者流程管控的话，都会导致投递质量比较差。?获取数据难：数据的生产到最终使用，中间可能要经历一个比较长的时间周期或者一个比较宽的团队跨度，用户可能无法很快地找到想要的数据，或者数据团队生产出来的数据并没有真正触达到业务，来达到它的数据价值。数据资产模糊：这个点可能和获取数据难有一点点关联，数据资产模糊的话更多的是在说需要对公司的数据资产做一个整体的管理，如果没有这个整体的管理，就会导致对数据资产的级别和拥有什么数据资产都很模糊。最终就是导致数据的优势难以发挥出来，而且虽然耗费了很多计算资源、人力资源、存储资源，但没有带来相应的价值，最终导致资源效率极低。

　　2、数据中台的实质

　　数据中台更像一种企业架构爱奇艺大数据，是一套结合互联网技术和行业特性，在企业发展的不确定性中，寻找确定性，并且持续沉淀和抽象企业核心能力，最终支持企业快速、高效、低成本进行业务创新和增强的企业架构。

　　二、爱奇艺数据中台的定义

　　1、理解数据中台

　　数据后台：

　　大家平时更多用到了大数据集群，也就是说Hadoop、Spark、Flink以及其他OLAP工具。但是这些只是数据后台的一个概念，并没有做成一个标准化、通用化、门槛相对来说比较低的中台化的概念。

　　数据中台：

　　数据中台其实是一个数据即服务的产品概念，它包括了数据服务、数据平台、数据中台产生的数据以及在所有的数据工作中产生的标准和规范，这一些组成了我们所谓的数据中台。

　　数据前台：

　　数据前台就是我们实际的产品落地的具体例子，主要包括了几个大的方向：

　　所以数据中台抽象出来，就是指“平台+服务+数据+标准化”的概念，它是将数据的生产、收集、处理、存储和服务进行封装，并且面向不同层级的用户提供不同的服务形式。在数据标准化过程中，数据中台可以防止数据重复建设，避免口径问题，提高数据的使用效率。

　　2、数据中台的发展历程

　　3、数据中台的输出

　　4、数据中台的定位

　　说到数据中台定位，因为数据中台和前台、后台都需要有一个明确的划分，数据中台定位提供了这种抽象通用的能力来支持前台团队在此基础之上进行定制化，最终在复用通用能力的同时，能够满足业务快速发展的个性化的需求，达到一个全局最优化的状态。

　　三、爱奇艺数据中台建设

　　1、建设

　　主要从五个角度去输出中台能力，分别是服务、数据、平台、投递、标准/规范。在爱奇艺数据中台的实施过程中，划分出了三个大方向：

　　日志投递：

　　这部分输出了投递规范，进一步针对投递规范，需要对公司的相关员工进行培训，让大家深刻地理解投递是为了做什么，并且怎样才能达到我们对于用户的行为足够深入的分析要求。

　　大数据平台：

　　有一线开发、对应的运维管理、实时开发对应的运维管理，以及数据治理、数据图谱、数据服务和即席查询。即席查询是我们数据服务里的一个子项，但是因为应用面比较广，就单独拎出来了。

　　统一数仓：

　　统一数仓的能力也就是为下游提供离线和实时的两种数仓能力。为了方便大家实现跨离线和实时混合使用的场景，需要进行标准化的工作，也就是离线输出的字段、定义、口径、格式和实时数据要尽可能一致，即实时数据向离线数据看齐。

　　数仓在提供数据本身的能力之外，还要维护整个公司级别的指标体系和统一维度，让所有的数据系统平台和都会对接到统一的维度指标体系。而且，为了帮助数仓建设过程中的数据建模和统计指标的管理，建设了一个对应的数据平台，也是按照数据规范的标准建设，以此来支持使用方使用平台依照规范去建设数仓的流程化工作。

　　2、Pingback体系

　　3、数仓体系

　　4、数仓平台

　　数仓平台主要是为了做业务建模、数据建模、物理建模、维度管理、指标管理和数仓管理。

　　5、离线数仓架构

　　下面是数仓的简化架构，主要是体现了离线数仓部分。其中带颜色的一部分是统一数仓，其他的浅颜色的就是一些数据应用，包括数据集市和主题数仓。

　　6、大数据平台

　　开发：在第一阶段完成了整个数据开发的平台化、可视化能力，降低了开发门槛，并提升开发标准化。

　　运维：在开发之后，需要提升任务的管理和运维能力。通过建设运维管理模块的建设，保证用户更方便地对任务进行管理，并且对任务产出的稳定性和数据产出的时效性实现了有效的监控。

　　质量：在提供了数据开发和管理相关能力之后，需要进一步对数据产出进行质量校验，避免生产出的数据在未关注数据质量的情况下直接被使用，造成数据问题的快速扩散。

　　使用：数据使用也是一个数据发现的过程。比如生产了很多数据，如何让用户看到这些数据，并将其更好地应用在业务需求当中。针对这个痛点，完成数据图谱模块的发布，把各种的数据元信息进行收集、加工、管理，最终把完整的数据信息以一种更友好的形式提供出来，帮助大家快速地发现数据，进一步去了解数据元信息、快速准确地使用数据。

　　治理：是数据生态的最后一个环节，也是打造健康生态闭环的重要部分。有的公司可能是把治理放到比较靠前的环节，但是在一些场景下，比如说业务快速发展的过程中，治理往往是跟不上业务需求的。所以爱奇艺采取的方式是，等业务发展到一定程度，再去补充数据治理的能力，对存量去治理，对增量去管控。治理工作的内容主要包括对数据和任务进行日常审计，然后通过数据血缘和使用情况，对数据的冗余度进行有效评估，并进行相应的优化，以减少资源和人力的浪费。

（编辑：草根网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

何为数据湖？用于大数	大规模分布式计算学习
如何让程序员更简单使	从开始懂互联网到懂用