怎样做好数据运营，数据运营的流程

数据操作需要哪些技能？如何构建自己的数据操作系统？本文作者拥有超过10年的实践经验，帮助您一步步构建您的数据操作系统，我们将帮助您改进。

未来30年，数据将成为生产资料，计算将赋能生产力，互联网将成为生产关系。如果我们不数字化、不互联，情况将比过去30 年的电力短缺还要严重。未来30年，互联网将不再是互联网公司的互联网，而是每个人的互联网。如果说过去20年互联网是从无到有，那么未来30年它也将“从无到有”。这个“无”是无所不在的“无”。没有互联网，任何人都无法生存。

——马云第四届世界互联网大会

在18年的互联网行业工作经历中，我大部分工作都是在数据运营，从QQ秀到YY语音再到迅雷，流程优化、平台建设、产品数据运营分析和应用，我都经历过这一点。我们亲身体会到数据运营在产品增长中发挥着至关重要的作用。

很多人对数据运营的理解仅限于数据统计和因果分析。事实上，这些只是数据操作任务中的一小部分。数据最终为产品提供信息。数据运营重在运营，数据是载体。

数据操纵是做什么的，我个人的理解是：

明确产品目标，定义产品数据指标，创建数据报告渠道和规则流程，有效促进数据需求的实现，观察产品数据，提供数据预警，分析数据变化原因，驱动团队执行产品迭代。基于分析结果的运营和运营为产品决策提供依据，利用数据驱动产品和组织增长，实现组织目标。

通俗地说，在处理数据时需要了解五个问题：

1. 你要做什么？ —— 制定目标数据。

2.目前情况如何？ —— 行业分析、产品数据报告输出。

3. 数据变化的原因是什么？ —— 数据警报，分析数据变化的原因。

4. 未来会怎样？ —— 数据预测。

5. 我该怎么办？ —— 决策和数据产品应用。

以下是您在处理数据时需要掌握的技能的高级概述：

以上技能有很多概念，但其实最基本的就是先学习统计，然后详细的业务实践，掌握Excel等最常用的分析工具，下一步就是学习不同的数据挖掘工具。使用SPSS。

SPSS功能包括数据管理、统计分析、图表分析、输出管理等。 SPSS统计分析流程包括描述性统计、均值比较、一般线性模型、相关分析、回归分析、对数线性模型、聚类分析、数据简化、生存分析、时间序列分析、多重响应等。

学习工具并不难，但重要的是学习统计学，知道在不同场景下使用什么分析技术以及如何解释和应用分析结果。

然后，根据我的数据运营经验，我绘制了公司数据运营体系的层次图。

如何构建一个完整的产品数据管理系统？我根据自己的实践经验进行了整理和总结，整个流程分为以下11个步骤，供大家参考。

第一步是制定产品目标，这是数据运营的起点，也是产品上线闭环后评估的依据。

设定目标时不要拍自己的头。可以根据业务发展、行业发展、竞品分析、上一年产品发展趋势、产品转型规则等来计算目标。目标通常使用SMART 原则来衡量。

1. S代表Specific，即工作指标应该是具体的、可衡量的，而不是笼统的。比如，当我们把YY语音的基础体验作为产品目标时，产品体验的提升就不太具体，每个人都有不同的理解。当时，我们的基本产品目标非常具体：第二天留住新用户。

2. M 代表可衡量的，意味着绩效衡量标准是定量的或行为的，并且有数据或信息可用于验证这些绩效衡量标准。需要某些值才能提高新用户的第二天保留率。鉴于。

3. A代表Attainable，即绩效指标是可以通过努力实现的，避免设定过高或过低的目标，保持新注册用户的次日留存，这不是可以实现的事情。当时，我们根据过去XX年后新用户留存率的数据以及2017年留存率的行业标准值，估算新注册用户的次日留存率在25%到35%之间。新注册游戏用户。提高至%。

4. R代表Relevant，与工作中的其他目标相关。绩效指标与工作相关。新用户的次日留存率与用户行为密切相关，例如用户对语音工具的认知程度。新用户的次日留存，例如用户对YY平台上内容的偏好，与产品性能和内容流行度密切相关。

5. T代表Time-bound，它侧重于实现目标的特定期限。

产品目标可以制定如下：到2013年12月31日，我们将把新注册的YY语音用户的次日留存率从25%提高到35%。

次日新用户留存率越高，意味着更多用户正在积极转化，从而推动活跃用户总数的增加。

这里需要注意的重要一点是，您不仅仅依赖于数据，您还需要深入了解目标的本质。比如我做的提高“YY语音”新注册用户留存率的项目，按照这样的思路就可以很轻松地实现。我们只是查看了保留率数据的变化。

我记得当时我使用的方法之一是用户细分，将来自不同渠道、不同行为的用户进行分类。我们发现一些垃圾新用户对我们的整体留存数据产生了很大影响。这些用户很多都是通过机器注册或者机器注册生成的。如果您排除这些用户，您的保留数据将会高得多，但您将无法说他们完成了任务。因为这个目标背后我们实际上需要寻找活跃用户的增长，新用户留存只是数据的反映，所以不能把新用户留存作为单一指标来看待。不，我们必须从增加新用户留存开始。用户数量。使用新用户注册、有效用户保留、用户活动和付费转化等多个指标来衡量您的工作价值。

第二步是根据上述目标定义产品数据指标。必须考虑数据指标。对于上门拜访，目标是留住新用户。一旦实现了新用户保留，就必须确定该数据指标，以及实施是否能够真正推动整个产品的活跃用户增长。

产品数据指标是反映产品健康发展的具体数字，必须明确数据指标，包括数据上报方式、计算公式等。

例如，上面的次日留存率可以这样定义： 次日留存率是一个比率，分母是当日新注册并登录YY客户端的YY账户数量。分子是第二天重新登录YY客户端的YY账户数量。 YY 账户数量。

请注意这里的细节。第1天和第2天必须有明确的时间，例如0:00到24:00算为1天。问题来了。将进行新用户注册和登录。首日23:00与YY客户上线，次日凌晨1:00下线。根据上面的定义，该用户第二天可能不会被记录为保留用户。此处未明确定义报告详细信息。

定义是第二天再次登录YY客户端，但上面的例子中用户第二天并没有登录，但肯定是连续两天登录的用户。

因此，这个定义需要添加有关用户登录状态的详细信息。如果每5分钟上报一次心跳包，新用户第二天就可以报告为登录用户。如果用户在0:05之前登录，上线后第二天24:00才登录，则不会被记录为留存用户。

我们根据产品的用途来选择数据指标，比如网页产品，经常使用PV、UV、签约率、人均PV、停留时间等进行产品衡量。定义产品指标系统需要产品团队、开发团队和其他团队之间达成一致。数据指标的定义清晰且有据可查，不会在理解数据解释方面造成差异。

不同的产品生命周期关注不同的数据指标。下表概述了每个阶段应关注的指标。除了一般用户和收入指标外，还应该关注技术性能指标。

请参阅这五个关键点以获得出色的数据指标。

（1）能够反映用户需求的满足程度、产品的核心价值以及发展趋势。这些指标的改善表明公司正朝着积极的方向发展。

(2)良好的数据指标具有可比性。比较不同时间段、用户群体和竞争产品的性能将使您更好地了解产品的实际方向。

(3)易于理解和控制。易于理解、易于记忆，并且对于统计很有用。

(4) 好的数据指标几乎总是比率。

(5) 指标随着您的业务而发展。随着业务的变化，不同阶段的关键指标也应该发生变化。

第三步，构建产品数据指标体系，在提出的数据指标的基础上，按照产品逻辑对指标进行聚合、组织和系统化。

新用户次日留存率是定制的核心目标，但仅仅看次日留存率是不够的，需要综合考虑影响用户留存的各种因素。我们的目标是健康成长，让您更准确地了解我们的产品。如图1所示，这是一个常用的指标体系，包括新用户、活跃用户、支付等数据。

图1 互联网产品通用数据指标体系

在打造YY语音客户端产品时，我们采用了以下指标体系，主要包括四个方面：账号体系、关系链数据、状态感知数据、沟通能力。具体指标包括好友数量分布、频道节目观看时间、IM聊天时间、个人状态切换及时间等，如图2所示。

图2 IM即时通讯产品数据指标体系

第四步，提出产品数据要求。建立产品指标体系并非一朝一夕之事。产品经理根据产品开发的不同阶段提出有针对性的数据需求。公司通常有产品需求文档模板以方便实施。与数据报表开发、数据平台等部门同事沟通，执行数据建设。

对于创业型小企业来说，可能只需要一两个人就可以提出并上报产品数据请求，但可能需要花费大量时间来构建数据文档，比如数据指标定义、数据计算逻辑、数据文档等。建议您这样做。 ETC

图3是我和YY语音客户端团队建立的基本产品数据需求实现流程。其实大多数情况下是不需要这样的数据需求流程的，只是当时我们刚刚开始规范数据需求。数据需求审核过程也是一个培训过程，让更多同事了解数据。然后将数据需求集成到产品需求流程中。

图3 YY事业部产品基本数据要求实施流程图（实施）

数据报告要求有两种常见类型：

1. 标准协议报告，例如按钮式报告。

2. 定制协议报告。

（一）标准协议报告数据要求示例

表1 标准协议数据报告要求的示例模板

(2) 自定义协议的数据报告要求示例

表2 自定义协议报告数据要求的示例模板

注册名称：YY事业部—— 基础产品组—— 每天游戏直播运营。

第五步是报告数据。本步骤根据产品经理的数据需求和数据上报规范进行数据开发，完成报表开发，并将数据上报到数据服务器。

数据上报的关键是建立数据上报渠道。我在腾讯工作的时候，并没有意识到这个环节有多难，因为数据平台部门已经搭建了完整的数据通道，开发遵循一定的规则和规定。使用Unified Data SDK进行数据处理。请报告。

然后，作为一家以发展为基础的公司，YY 开始建立报告渠道，以及更多的培训和改进机会。一个很重要的环节就是数据报告测试，但之前这个环节的测试资源没有定位好，造成了不必要的麻烦。

许多初创公司没有自己的数据平台，因此可以使用第三方数据平台。对于网页产品，可以使用百度统计（tongji.baidu.com）。移动端产品有友盟（www.umeng.com）、TalkingData（www.talkingdata.com）等平台。

例如，下表是用于页面流量数据报告的发送函数send_web_pv，源自Thunder Hubble数据平台规范。

表3 用于报告页面流量数据的发送函数send_web_pv

下表是主播APP数据报告示例。 （数据嵌入是将统计逻辑添加到功能逻辑中。）

表4 直播APP数据报表示例

现在有一种无需嵌入点即可报告数据的方法。请参阅这篇文章《揭开GrowingIO无埋点的神秘面纱》。

从步骤6到步骤8，数据收集和访问、存储、调度和计算的每一步都是一门科学。例如，收集数据包括创建界面。必须考虑数据字段的可扩展性，以及ETL数据清洗过程。验证数据采集过程的准确性、客户数据的报告、数据存储、调度和计算成为大数据时代更加困难的技术任务。

1.数据收集和访问ETL是Extract-Transform-Load的英文缩写，用于描述从源到目的地提取、转换和加载数据的过程。

尽管术语ETL 经常用于数据仓库，但它并不限于数据仓库。 ETL是构建数据仓库的重要组成部分，用户从数据源中提取所需的数据，清洗数据，最后根据预定义的数据仓库模型将数据加载到数据仓库中。

下图是一个产品数据系统的典型流程图，数据采集、存储和计算通常在所示的数据中心完成。

图4 数据系统流程

查看数据报告后，接下来的几点变得更加技术性。首先，需要上报的数据是如何收集并存储在数据中心的？

数据收集分为两个步骤。第一步是业务系统向服务器汇报。这部分主要是通过CGI或者后台服务器来完成的。调用集成的logAPI后，原始pipeline被编译成logServer进行存储。数据。随着该区域数据量的增长，应该考虑使用分布式文件存储，但常用的外部分布式文件存储主要是HDFS。我这里就不详细说了。

图5 原始数据上报及保存到文件的架构图

数据保存到文件后，第二步进入ETL过程。 ETL是指根据分析需求和数据维度，通过抽取、转换、加载等方式对文本中的日志进行清洗。然后将其存储在数据仓库中。

以腾讯为例。

腾讯大数据平台目前主要支持离线和实时的大规模数据访问和处理，核心系统包括TDW、TRC、TDbank。

图6 腾讯数据平台体系

腾讯数据平台的数据采集、分发、预处理和管理均通过TDBank平台实现。整个平台主要解决大数据量下大规模、实时、多样化的数据采集和处理问题。访问和存储问题统一通过三层架构解决：数据访问层、处理层、存储层。

(1)接入层

接入层可以支持各种格式的业务数据和数据源，包括各种DB、文件格式、消息数据等。数据访问层将采集到的各种数据集成到内部数据协议中，以方便数据处理系统的后续使用。

(2)处理层

然后处理层使用插件格式来支持各种形式的数据预处理。对于离线系统来说，一个重要的特点就是对实时采集的数据进行分类存储，并且必须按照一定的维度（例如某个键值+时间）进行分类存储。保存文件的粒度（大小/时间）也必须定制，以便离线系统能够按照指定的粒度进行离线计算。对于在线系统，常见的预处理过程包括数据过滤、数据采样和数据转换。

(3)数据存储层

处理后的数据使用HDFS作为离线文件的存储载体。在保证整个数据存储可靠后，我们最终将这部分处理后的数据存储在腾讯内部的分布式数据仓库TDW中。

图7 TDW架构图

TDBank从业务数据源实时采集数据，进行预处理和分布式消息缓存，并以消息订阅的形式分发到后端离线和在线处理系统。

图8 TDBank 数据收集和访问系统

TDBank搭建了数据源和数据处理系统之间的桥梁，将数据处理系统与数据源分离，为TDW离线计算和TRC平台在线计算提供数据支持。现在，经过不断改进，之前的Linux+HDFS模型已经转换为集群+分布式消息队列模型，将每天可以处理的消息量降低到2秒。

从实际应用的角度来看，产品在考虑数据采集和访问时，主要关注几个维度的问题，比如：

集成多个数据源在实际应用过程中，通常存在不同数据格式的数据源，采集访问部分需要对这些数据源进行集成和转换。由于采集是实时高效的，且大多数系统都是在线系统，因此对数据采集的时效性要求比较高。处理脏数据：对于一些影响整体分析统计的脏数据，必须对接入层进行逻辑屏蔽。

让我们详细解释一下跳出率。该数据反映了用户访问您的网站时着陆页（不一定是主页）的价值，以及用户是否能够完成单次点击。如果用户在没有单击的情况下到达您的目标网页，您的跳出率将会增加。

图10 百度统计网页数据报告

在友盟数据平台提供的产品留存数据报告中，通常突出显示的留存率是1天留存、7天留存和30天留存。

图11 尿管保留数据报告

数据抽取是产品运营中非常常见的需求，比如抽取特定批次的热销产品及其相关领域，或者抽取特定批次特定条件的用户。同样，功能相对齐全的数据平台包括自助式数据提取系统，但那些不支持自助式需求的数据平台则需要进行数据开发和编写数据提取脚本。

第十步：观察分析数据，主要是监测数据变化和统计分析，通常会自动输出数据的日报，识别异常数据，数据的可视化输出非常重要。

数据分析通常用于了解产品状态、了解发展趋势、发现问题、识别用户、推动营销。

EXCEL和SPSS可以说是数据分析的基本功，都是经常用到的，后面我会介绍一下我在工作中是如何实际使用这两个软件的。在进行数据分析之前，请验证数据的准确性，包括从数据定义到报表逻辑是否严格遵循需求定义文档以及数据是否符合预期。由于数据上报渠道存在数据丢包的情况，建议您提取原始数据并进行分析，以确定数据的准确性。

数据解释在这个环节中很重要。即使对于相同的数据，根据对产品的熟悉程度和分析经验的不同，解释结果也会有很大差异。因此，产品分析师必须对产品及其用户有透彻的了解。

绝对值通常难以解释，使用比较可以更好地表达数据的含义。

例如，产品上线第一周，平均每天有10万新注册。数据看起来不错，但如果这个产品是YY语音推出的新产品，通过YY弹窗到达用户，那么每天发送一条消息就会注册几千个用户，但如果用户发布到1万人，只会新增10万人项目，这不被认为是好的产品数据。

图13 通过对比更清晰地表达数据含义

比如分析YY语音新注册用户的数据变化，可以对比上周同期、上个月同期、去年同期进行纵向比较，看看是否有类似的数据变化。

横向对比可以让你从漏斗模型中分析YY语音的新用户注册数据的类似变化，看看各个渠道的转化率是否因为用户来源渠道的差异而发生变化，比如顶部漏斗。用户访问渠道某个环节哪些数据发生较大变化，哪些渠道的转化率数据发生变化。还可以横向比较不同业务，找出数据变化的原因，比如YY语音新注册数据、多玩网流量数据、YY游戏新注册用户数据等。

纵向和横向比较比较同一周期和时间段内的多个数据变化曲线，例如YY新注册用户、多玩网流量数据、YY游戏新注册用户半年数据变化。查找数据异常的关键节点，查询操作日志，查看操作活动是否有组织、是否受外部事件影响、是否有特殊影响因素。日复一日。

数据分析结果的输出通常采用直观的可视化显示方式，并选择合理的图表，使分析结果更加直观。

推荐两款实用的可视化工具： 百度图说：https://tushuo.baidu.com

词云：https://wordart.com

自定义图像以生成个性化的词云。

关于词云的攻略文章：

词云攻略（二）：自定义图形，打造个性化词云

第11 步：评估产品并应用数据。这既是数据操作闭环的结束，也是新数据操作闭环的开始。数据报告绝不是为了显示或回答读者的问题。与产品人员的绩效一样，重要的不仅是产品项目是否按时完成并发布，还有对产品数据的持续观察、分析和评估。我们将积累的数据应用到产品的设计和运营中，例如QQ音乐的猜你喜欢、淘宝的时光机、今日头条的推荐阅读、亚马逊的个性化产品推荐等。数据产品应用大致可分为以下几类：

（一）以程序化广告为代表的精准营销

推荐周期短，要求实时性，受用户短期兴趣和即时行动、分发场景上下文、访客群体特征影响较大。

产品案例：Google、Facebook、微信朋友圈。

下图展示了微信的用户数据定位功能。该功能可以根据地区、性别、年龄、手机、婚姻状况、学历等多方面准确识别用户。

很多人买不起微信朋友圈广告，但往往是买不买的问题，而且随着数据的积累，广告也越来越精准。

(2)内容推荐，以音频、视频推荐为代表

长期兴趣的累积影响是显着的，时间段、话题事件、多维内容的相关性很重要。

产品示例：Youtube、网易云音乐、抖音、QQ音乐

下图是抖音给我推荐的女人、马云和风景。这些都蛮符合我这个40岁大叔、互联网从业者、旅游爱好者的口味。

(3)以EC推荐为代表的购物推荐

它集成了长期+短期利率+实时行为，最接近现实，季节性和用户生活信息很重要，并跟踪订单、交易和支付相关。

产品示例：亚马逊、淘宝、京东。

下图是淘宝给我的产品推荐，几乎匹配了男性用户、家里有孩子的用户、喜欢户外运动的用户的产品推荐。

最后，这是一个总结数据操作11 个步骤的图表。

图14 数据操作的11个步骤

从定义产品目标，到最终评估产品，并根据目标优化运营，形成数据运营的闭环。这些流程和规范保证了各部门步调一致，每个产品终端都遵循标准化流程，统一上报数据，打造全公司统一的数据中心，建立数据仓库，才能最大化我们的服务。数据的价值和允许数据提高生产力。

从组织实施的角度来总结产品数据运营体系的构建，可以考虑以下五个要素。

（1）人力资源：专职数据运营同事

专职产品专员负责产品数据系统的流程和标准化建立，积累经验，促进系统不断优化和发展，专职专业开发同事负责数据上报、报告开发。负责数据库。数据系统的开发和维护，保障产品。

(2)数据后端：全面系统的数据仓库

拥有专用的、统一的数据仓库来记录您产品的专业化、个性化数据，并充分利用数据平台的公共接口捕获通用数据，共享数据源，控制成本将会降低。

（3）数据前台：强大的数据系统展示平台

报告开发专业人员需要系统地思考他们的报告系统，并灵活、迭代地进行，而不是简单地接受报告要求并创建大量报告。

(4)工作规范：要求合理化

如上所述的构建产品数据系统的11步流程和方法，其中数据需求包括两点：简化实体需求的开发和工具化临时需求。

(5)工作输出：数据应用

在日常数据运营中，我们进行各种数据分析，输出日报、周报、月报，并根据数据分析为决策提供依据。我们会开发精准推荐、用户生命周期管理等产品规划等数据产品。

以上是我多年来工作的总结。还要感谢和我一起工作的很多数据同事：宫伟、常博、春哥、夏聪、宇文、志华、景米、小伟、江宇等。

#专栏作家#Bruce，微信公众号：BLUMIDOU，全体产品经理专栏作家，迅雷产品总监，前YY语音、腾讯高级产品经理。他拥有10年的产品经验和多年的产品讲师经验。著名自媒体人，WeMedia自媒体联盟成员，十大自媒体人之一。擅长产品策划、产品运营、数据分析、用户研究、行业分析等。

本文最初由《人物》发表