作者都是各自领域经过审查的专家,并撰写他们有经验的主题. 我们所有的内容都经过同行评审,并由同一领域的Toptal专家验证.
格雷戈里·汤普森的头像

格雷戈里·汤普森

格雷格在一家科技公司领导企业发展, 完成多项收购和资产剥离,收入增长至8亿美元以上.

专业知识

以前在

甲骨文公司
分享

执行概要

什么是大数据?
  • "大数据是一个主观的度量,它描述的数据集太大,以至于不能用典型的数据库软件工具来管理和分析.
  • 取而代之的是对这些集合进行计算分析以揭示模式, 趋势, 和协会, 尤指与人类行为和互动有关的.
  • 大数据和分析 随着互联网的出现已经成为主流了吗, 电子商务, 社交媒体, 设备的互联性——所有这些都促成了可分析数据量的实质性增长,而大数据成为现实所必需的.
  • 高德纳和IBM 解构 将大数据转化为4v; 体积, 速度, 各种真实性——每一个都是将大数据转化为可货币化价值所需的组成部分.
什么是小数据?
  • 小的数据, 这也是主观的衡量标准, 被定义为在体积和格式上足够小的数据集,从而使它们易于访问, 信息丰富的, 可操作的, 而且不需要使用复杂的系统和机器进行分析,人们也能理解.
  • 直到大数据出现,小数据才成为一个独立的类别, 因此表示后者的导数.
  • 考虑分析策略的小型企业应该首先专注于使用小数据为其客户生成可操作的见解,然后再成熟到使用大数据应用程序进行更多的规范性和预测性分析.
定义数据分析.
  • 数据分析 训练有素的统计学家和数据科学家分析统计显著性(i.e.使用复杂的软件程序来识别模式和趋势的大样本集. 这种分析能够提供对做出更好的决策有用的见解, 主要围绕客户互动展开.
  • 近年来, 支持这项工作的软件变得更容易获得, 强大的, 并且易于使用, 因此,允许 公民数据科学家 出现并开始承担以前是训练有素的技术专家领域的项目.

介绍

数据和分析 “快速”已经成为当今商界的流行语了吗. 如果没有一些前瞻性公司“明智地利用数据”来收集客户行为的信息,人们很难读懂一本杂志, 进行风险分析, 或者更有效地管理他们的基础设施. 大, 数据丰富的公司, 尤其是那些受管制的品种, 多年来一直从事以数据为主导的决策, 最好的。 例证 Capital One率先采用数据分析技术,以便更好地了解客户——这些见解随后被用于推出极具针对性和极具影响力的营销活动,从而取得了巨大的成功.

尽管一开始是小众的,但数据的利用已经迅速成为主流. 如今,对于一家给定的公司来说,几乎没有什么可信的理由, 无论大小和人力, 不把分析作为核心业务流程/能力. 成本、资源和专业知识等传统的反对意见已不再适用. 相反地, 内部生成的数据正迅速成为无处不在的战略资产, 通过竞争企业寻求保持竞争力.

这篇文章试图向读者粗略地介绍 data分析, 带你了解市场动态, 工具, 玩家和解决方案都是独一无二的, 在将后半部分奉献给小型企业的实际实施指南和框架之前.

大数据和小数据的外行指南

随着互联网和电子商务的出现, 社交媒体, 设备的互联性带来了全球可用和可分析数据量的爆炸式增长,而那些拥有这些数据的工具的人可以利用这些数据. 每条tweet, 帖子, 就像, 左击, 右击, 双击, 审查, 文本, 每笔交易都是可用的数据,可以绘制出我们的数字足迹,告诉我们所有人是谁, 我们如何做决定, 在哪里, 为什么. 这个数据, 恰当地称为“大数据”,因为它的浩瀚, 深度, 以及形式的复杂性, 在规范和预测分析中开启了无限的可能性, 使……成为可能 超个性化 在我们每天消费的许多产品中.

正式, 大数据描述了可以通过计算分析来揭示模式的大型数据集, 趋势, 和协会, 通常与人类的行为和互动有关. 数据被称为“大”,“集合/银行必须是如此之大,以至于需要先进的数据方法和复杂的系统从中提取价值.

在2001年 研究报告年,META集团(现在的Gartner)将大数据分为三个维度,称为 三对 的数据. 具体如下: 体积 (数量), 速度 (发电/传输速度),以及 各种 (类型范围及来源). 这三个V随后被扩展成 四对 包括IBM的 真实性 (质量/完整性)作为获取价值所需的最终维度.

图1:大数据的4v

但你可能已经听说过大数据. 小的数据, 另一方面, 数据的子类是否被认为是适度的,足以使其可访问, 信息丰富的, 而且是可操作的, 不需要过于复杂的分析工具. 最好的减少 前麦肯锡顾问艾伦·邦德认为,“大数据是关于机器的,而 小的数据 是关于人的?, 为推导因果关系而组织和包装有意义的见解, 模式, 以及关于人的“为什么”的原因.

基于saas的分析

随着数据可用性和有用性的提高,出现了一个独立的分析行业. 曾经是硕士和博士级别统计学家的专属场所, 数据科学家, 和分析师, 分析已经发展成为一个功能强大但成本低廉的行业, 自助服务 软件即服务(SaaS)平台 这使得即使是最新手的用户也能从他们的数据中提取价值. 以前缺乏执行这类分析所需的专业知识或预算的小公司,现在与资源更充足的同行在更接近平等的基础上竞争,并在市场上建立了可防御的模式.

除了SaaS模式的成本优势之外, 研究 香港仔集团, 一家技术和服务研究公司, 举例说明,采用SaaS工具的组织有两倍多的员工本能地使用数据来做出决策,实现投资回报率目标的速度比那些没有采用SaaS工具的组织快40%. 对大多数公司来说, 邮件营销报告, 谷歌分析, 其他基于网络的第三方分析工具已经在积极使用, 除了内部生成的会计报告, 市场营销, ERP, 和CRM系统,并将其用作将小数据货币化的主要机制.

更多信息, 尽管这是一个庞大且不断增长的市场,但精确的衡量可能很困难, IDC估计,全球商业智能和分析工具市场的规模将接近 140亿美元 截至2017年,增长率为 11.同比增加了7%全球市场研究公司弗雷斯特研究公司(Forrester 研究)预测,今年的美国经济增长将会放缓 复合年增长率15% 到2021年.

市场份额数据

意料之中的是, 分析工具和解决方案的市场是由软件公司的守旧势力主导的,比如SAP, IBM, 甲骨文, 和微软. 截至2015年,SAP以 10% 市场份额和1美元.2 billion in 分析 和 business intelligence (BI) product revenues; SAS Institute was number two, 与一个 9% share; IBM, third with 8%甲骨文(甲骨文)和微软(Microsoft)分列第四和第五位 7%5%. 有趣的是, 由于风险资本支持的高于市场的增长,五大供应商的市场份额一直在下降 创业公司情感策略, , Teradata, 这表明,该行业未来的大部分增长将由小型企业带动, 快, 更灵活的公司.

图2:美国主要数据分析供应商,各公司市场占有率

小公司数据分析实施指南

在可能的最高级别,a 以数据为中心的文化 为管理层提供更大的信心,使其能够做出最好的决策, 经常和持续地, 而工作从同一版本的真相——透明, 可量化的一个. 毕竟, 我们大多数人都听过这样的会议:交战的高管们依靠不同的轶事来源提出或捍卫不同的观点, 事实模式, 和解释, 很快就会对输入和输出的完整性产生质疑. 因此, 第一个决定 一个想要走数据分析之路的小企业必须做出的决定是,这个企业是否真的想要成为一个数据驱动的组织.

一旦做出了这个自上而下的决定, 必须建立一个框架,以最大限度地发挥新的战略优先事项的潜力和效用. 首先, 几个问题 一定要问. 第一个, 公司的短期和长期目标是什么, 项目, 倡议, 或部门? 第二,谁应该对这些努力及其结果负责? 第三, 公司有哪些具体问题, 项目, 倡议, 或者用数据解决问题的部门? 第四,应该使用什么工具来推动主动性?

一旦这些问题得到了回答,下一步就是制定一个切实可行的计划 执行计划 哪一个。, 稍微计划一下, 组织结构, 自顶向下的方向, 自下而上的热情, 是否将组织置于手边,以产生比过去更一致的真实和可衡量的结果. 下图旨在提供一个框架,以考虑简单数据分析方法的各种元素.

图3:数据分析方法的要素、维度和注意事项摘要

关于目标问题

这是第一个需要解决的重要问题. 在高水平上, 任何寻求利用其数据的公司的最高目标是开发一个系统的流程来做出合理的业务决策——一个一致且可重复的流程, 这就产生了明显更好的结果. 在这个关键时刻, 重要的是要注意,成为一个健全的面向数据的组织是一个过程,而不是一个目的地, 因此, 来自高层的“支持”和来自底层的共识是重要的基础步骤,将证明对大规模采用和充分利用分析资产至关重要. 获得认可后, 经过尝试和测试的下一步是策略性地安排一些“速胜”,以激发兴奋点和粘性,从而实现这一过程. 共识的建立、支持和快速的胜利都实现了 研究 我的经验决定了一种采用以下结构的实现方法, 序列, 和注意事项:

首先 描述性分析——一个简单的 视觉指示板 这凸显了企业绩效利用现有的交易数据得出结论,而此前在没有可量化数据的情况下,这些结论被证明是不确定的. 接下来,开发 向下钻取 仪表板中的功能, 分享见解, 性能外卖(年代), 有策略地和合适的同事一起进行自助指导组织有影响力的人. 这将启动对其下属的传播过程,以及你所寻求培养的数据依赖文化.

第二阶段:逐渐变得更复杂 预测分析 功能,要么使用内部技术资源,要么借助第三方提供商的帮助. 这些预测功能混合了内部和外部数据源,以更好地回答特定的业务问题,例如, “客户流失的可能性有多大??,” or, “购买x的客户, 通常也购买y,,并提供对部门或给定计划绩效的实时洞察. 这里的“外部数据源”包括社交媒体数据, 销售人员数据, 或者用户体验数据, 所有这些都提供了丰富和统计上重要的见解来源, 内部数据仍然过于有限,无法独立利用.

第三阶段是进入高级阶段, 规范的分析 这有助于确定引导/抢占消费者的适当行动, 企业, 竞争对手, 员工, 或者在历史数据背景下的供应商行为. It should be noted though that this stage usually begins to mark the transition from 小的数据 to big; 和 yet, 这是一个必要的步骤,应该纳入贵公司的决策过程,以确保最高水平的投入产出完整性和决策的一致性.

图4:由具有分析能力的组织确定目标和目的的框架

分析学不同阶段的深入分析

描述性分析-仪表板

衡量的是管理,这是不言自明的, 因此,通过发展一个单一的数据确定性真理, 组织内的领导者更有能力使组织更健全, 更统一的决策. 指示板 这种分析旅程的起点是什么, 这是公司数据确定性真理的可视化例证. 当然,对一个群体有意义的东西对另一个群体可能毫无意义,所以 适当的考虑 应该给出给定仪表板的目的或主题吗, 应该包括哪些信息, 谁是其内容的相关受众, 这个小组想要回答/解决的问题是什么.

图5:销售分析仪表盘样本

图6:电子商务样本分析仪表盘

精心设计的仪表盘推动决策制定,而不仅仅是提供历史信息, 最有效地将注意力集中在趋势和反复出现的模式上(包括积极的和消极的),同时准确地说明企业的关键. 更复杂的仪表板提供了深入的功能,使领导者能够到达 根本原因 诊断出的问题的注释和共享功能,允许更多的动态, 实时查看.

预测分析-数据混合,探索和查询

一旦仪表板过程完成, 有抱负的数据驱动型组织可能会开始变得更加雄心勃勃. 对此,一个典型的例子 下一个步骤 是“使用大量不同的数据来执行更高级的分析,并为决策领域提供进一步的维度?.“通过将公司特定的数据与第三方的数据进一步丰富, 从垂直的特定供应商,如Experian, 处理公司, 和D&B到社交媒体或销售数据提供商,如Facebook, 推特, 和销售团队, 给定的公司可能会探索更大的范围, 更广泛的, 更多样的, 数据上的显著性可以让我们更好地了解公司的业绩和客户行为.

规定性分析-将分析部署到业务流程中

在数据方面有不同需求的企业级公司, 客户, 规定, 特定的业务问题/问题以及不同的预算和内部技能组合可能会有技术供应商来解决他们更独特的需求. 在一定规模上,将分析操作到业务流程和工作流中的能力变得更加重要和经济. 经常, 这些公司将处于受监管的行业,他们需要能够证明他们有公平和可重复的待遇.

贷款人在贷款政策中没有性别、收入或种族的偏见.

责任问题

确定具体的行动是一回事,实施又是另一回事. 诊断之间需要有联系, 处方, 决定和对预期结果负责的个人/团体. 正是在这里,执行发起人的作用变得重要起来.

无论是大公司还是小公司, 说执行赞助商-提名冠军的数据丰富和事实 首席数据官-是个人, 通常是CEO, 首席财务官, 或发病时的CMO, 已经沉浸在数据和分析中, 对数据最能解决的问题了如指掌, 或者至少是一个信仰 数据分析的变革潜力.

除了这个主角, 这个过程通常还需要一个辅助过程, 更实际的冠军, 尤其是当公司开始从描述性分析过渡到预测性分析时. 传统上, 这个人受过技术训练, 内部数据科学家, 但最近以精通技术的狂热者的形式出现,通常被称为 公民数据科学家. 这类人通常是自我选择的——他们自称是电子表格师,在求知欲和灵活性之间取得了适当的平衡, 但一个人愿意活在实施的杂草中. 在很多情况下, 这个人在认识到正式数据分析过程可能在他们公司产生的潜在影响方面领先于管理层, 但他们只是缺乏推销自己愿景所需的地位或信誉.

关于商业问题的问题

每个成功或失败的公司都有其独特的挑战,只有通过适当的资源组合才能解决, 流程, 以及它特有的能力. 也就是说, 最适合通过数据解决的各种业务挑战可以, 通常, 减少, 分类, 并采用图7所示的架构加以处理.

除此之外,还有一些轶事 指导方针/参数 是多少年来设计出来的, 这进一步优化了识别正确的问题类型来处理数据的机会, 但成功解决这些问题的机会也在增加. 这些指导方针/参数如下, 选择简单, clear questions whose implications matter greatly; second, 从数据中寻找答案, aim for the practicality of the solution rather than the perfection of an academic answer; third, keep the nature 和 knowledge base of your recipient audience in mind in delivering the diagnosis 和 solution; 和 finally, 只选择可测量和可量化的问题,现有的数据和解决方案可以, 在同等程度上, 被跟踪.

图7:确定要解决的业务问题的框架

关于正确的工具和方法的问题

我们最初的四个框架问题的最后一个, 如何建立一个可持续的数据导向组织, 是关于工具的选择吗, 方法, 或平台. 这个, 首先我要说明的是,数据分析工具近年来已经有了很大的发展, 具有各种优点和缺点的业务用户. 其优点包括,租赁此类工具的成本大幅下降,功能列表和可用选项的复杂性增加,因为它们已经从功能特定的工具过渡到功能重叠的平台. 进一步, SaaS供应商提供免费试用, albeit with restrictions on the volume 和 data-type; new patrons are afforded the opportunity to make an informed purchasing decision after testing multiple platforms.

这些平台的主要缺点是, 为了保持彼此的竞争力, 供应商在复杂性方面进行了如此积极的创新,以至于他们的产品现在已经接近功能饱和,超出了普通业务用户的可用性. 不幸的结果是大量的新手用户, 这使得实现前面讨论的“速胜”变得更加困难,从而降低了数据文化在给定公司中占据主导地位的可能性.

幸运的是, 有许多资源可以帮助潜在用户, 评估, 并比较竞争的商业智能解决方案, 尽管一些核心通用能力的知识在根据公司的具体需求和优先级评估它们时是有用的. 其中一些功能包括:数据连接的数量和范围, 可预装仪表板, 向下钻取, 发布和共享功能, 集成数据混合和勘探软件功能, 缩放潜力(体积和品种参数), 建模方法的数量和精度, 以及每个特定行业的客户参考基础. 虽然总结起来很简单, 上面的图表7列出了一些跨不同类别的主要供应商(描述性的), 预测, 规定).

小数据,大机遇

尽管它的起点很小, 很明显,数据分析和基于saas的分析工具市场在最近几年有了很大的发展, 这对公民数据科学家和他们的公司大有好处. 大数据, 小的数据, 自助服务工具——每一种工具现在都是足够主流的,即使是技术含量最低的企业也可以考虑将其作为核心竞争力. 说不同, 有这么多有用的东西, 生成的可操作数据和自助服务工具的成本与所提供的特性和功能相反, 即使是小型企业也没有理由不开始在某种程度上利用数据.

本文应该说明这一点, 只要有一点计划, 目标设置, 以及赞助人的选择, 即使是你的初创公司也可以开始与你打算颠覆的行业巨头竞争, 在这个过程中,为你和你的利益相关者释放巨大的经济价值. You need only get started; so go ahead—get started!

了解基本知识

  • 什么是小企业?

    独立拥有和经营的公司, 公司, 伙伴关系, 或者是规模有限的独资企业, 由收入决定, 利润, 员工人数, 还有其他措施, 视行业而定.

  • 什么是大数据?

    一种主观度量,它描述的数据集太大,以至于典型的数据处理工具无法对其进行管理和分析. 因此, 它们必须通过计算来分析, 最常见的是揭示模式, 趋势, 和协会, 尤指与人类行为和互动有关的.

  • 什么是数据分析?

    对不同的数据集进行检查,以便对它们所包含的信息得出结论的过程, 包括隐藏模式, 未知的相关性, 市场趋势, 客户偏好, 以及其他可以帮助组织做出更明智的商业决策的东西.

  • 数据挖掘有哪些技术?

    数据挖掘是一种分析过程,通过对数据进行探索来揭示变量之间的一致模式和/或系统关系, 随后通过将所述模式应用于新的数据子集来验证. 在数据挖掘中有几种主要的技术,包括关联、分类、分类等

聘请Toptal这方面的专家.
现在雇佣
格雷戈里·汤普森的头像
格雷戈里·汤普森

位于 洛杉矶,加州,美国

成员自 2017年1月31日

作者简介

格雷格在一家科技公司领导企业发展, 完成多项收购和资产剥离,收入增长至8亿美元以上.

Toptal作者都是各自领域经过审查的专家,并撰写他们有经验的主题. 我们所有的内容都经过同行评审,并由同一领域的Toptal专家验证.

专业知识

以前在

甲骨文公司

世界级的文章,每周发一次.

订阅意味着同意我们的 隐私政策

世界级的文章,每周发一次.

订阅意味着同意我们的 隐私政策

金融专家

加入总冠军® 社区.