数据发现：定义及其重要意义

企业每天做的关键决策都离不开数据支持，然而，不同企业的数据分析质量天差地别。如果没有组建内部数据科学团队，那么几乎没有企业有能力整理多种来源、多种格式的数百万数据点来挖掘数据价值。所幸，数据发现可帮助企业将所有这些数据转化为有用的洞察，且无需企业具备深入的 IT 知识。

数据发现是指利用可视化工具探索数据的过程。它能够帮助非技术型业务领导者发现新数据模式和异常值，从而帮助企业更好地理解数据洞察。借助数据发现，所有部门的员工都可以做出明智的业务决策，并持续优化自己的工作方法。无论企业是想提高仓库流程效率还是以更好的方式打造个性化社交媒体活动，数据发现都能帮助他们捕获宝贵洞察，将商务智能转化为动态且具有独特价值的业务资产。

什么是数据发现？

数据发现是指运用高级分析技术探索数据的过程，可用于检测其它方法无法揭示的信息模式。就像高尔夫球运动员在推杆击球前要先退一步评估地形一样，数据发现让企业能够摆脱单独数据点的局限，综合多个来源（包括外部第三方来源）的数据来洞悉全局，进而做出更明智的决策和业务战略。从这个角度来看，当进行数据发现时，企业可能并不十分清楚自己在“寻找”什么，只是单纯地探索数据模式和异常值来更好地理解数据。

值得注意的是，数据发现不需要业务用户构建复杂模型。大多数企业在商务智能 (BI) 软件中执行数据发现，通过简单仪表盘或可视格式提供全面的企业视图。

要点

• 数据发现是一个迭代过程，可帮助企业从多个数据流中提取宝贵洞察，做出更明智的决策。
• 数据发现有助于数据洞察“大众化”，它使所有部门的业务用户都能够理解自己的客户和运营，无需 IT 帮忙或掌握数据专业知识。
• 由于数据发现流程的第一步是清洗和准备数据，因此能够防止脏乱数据干扰持续业务分析。
• 随着人工智能和机器学习技术的出现，近年来数据发现取得了显著发展，将助力企业规模化执行日益复杂的分析。

数据发现详解

在很多企业中，数据专家与依赖数据分析的业务领导者及其团队之间沟通不畅。通过从数据中提取宝贵洞察，并轻松让所有人共享和理解这些洞察，数据发现不仅可解决这一沟通问题，还能打破企业内的各种信息孤岛。

具体而言，数据发现能够通过图表、文本和视觉化故事讲述的方式解释趋势，传达各种类型的信息。这意味着非 IT 人员也能理解大量复杂数据，快速获取所需洞察。从这个角度来看，数据发现面向所有企业员工实现了数据分析的“大众化”。

数据发现是如何进行的？

数据发现过程分为 5 步。它也是一个迭代过程，企业可以基于发现结果和利益相关者的反馈，持续收集和分析数据，逐步优化数据发现方法。

• 第 1 步：识别需求。有效的数据发现首先要有明确的目的，比如解决某个痛点。这意味着企业要考虑哪类数据既能提供有效信息，又不会遗漏意料之外的其它洞察。例如，某快消品 (FMCG) 分销商可能希望重新审查物流数据，将装运过程中的食品浪费降低 10%。而某零售银行可能希望分析其 Web 数据，以降低潜在客户的反跳率。

• 第 2 步：合并来自相关数据源的数据。要使数据发现过程行之有效，合并多个来源的数据非常重要，因为碎片化数据无法提供全景视图。这一过程有时称为“数据咀嚼”。

• 第 3 步：清洗和准备数据。这是数据发现过程中工作量最大的一步，也是关键一步。通过数据清洗和准备，企业可以减少数据“噪音”，从数据分析中获得更清晰的指导。

• 第 4 步：分析数据。在合并多个部门的信息、集成外部数据源数据并完成清洗后，业务领导者可以获得一个全面的运营视图，解决影响运营效率的各种运营问题。

• 第 5 步：记录发现结果，持续迭代。数据发现不是一次性的，而是一个持续改进的过程。在畅销书《Outliers》（中文版《异类：不一样的成功启示录》）中，作者 Malcolm Gladwell 提出了一万小时定律，即“要成为某个领域的专家，需要至少投入一万小时的成长时间”，企业“学习”掌握数据也是如此。企业必须将数据发现看作一种“生活方式”，以便持续改善结果，逐步提高运营效率。

数据发现为何非常重要？

成功企业的一个重要标志是敏捷性，而数据发现是企业敏捷性的基石之一。从负责将各个团队迁移到云端解决方案的 CIO，到寻求提高业务报告流程效率的财务主管，数据发现能够为业务领导者及其团队提供关于运营的全景视图，帮助他们更好地理解并解决所面临的挑战。

事实上，随着越来越多的企业开始将数据视为一种资产，数据发现越来越受欢迎。企业收集的客户信息和运营信息有助于企业从市场竞争中脱颖而出，而数据发现能够将这些信息切实转化为竞争性优势 — 无论是产品创新、改善客户体验还是提升效率。

数据发现的历史

数据发现的历史和淘金热极其相似。20 世纪 60 年代，统计学家和经济分析师们首次提出了“数据捕鱼”的概念来描述数据发现过程。不过，“数据捕鱼”是一个贬义词，指的是早期数据挖掘的盲目性，即没有一个预定义的假设。

20 世纪 90 年代，随着数据库界开始通过数据挖掘和更开放的数据分析来改进运营，数据发现获得了人们的关注。1995 年，第一届国际数据挖掘与知识发现大会 (KDD-95) 在蒙特利尔召开，至此数据发现成为了一个学术研究重点。

随后，大数据技术爆发，紧接着便是近年来大热的数据驱动的决策和机器学习算法。如此一来，数据发现从一个学术问题变成了一个企业必备流程。零售商、金融机构、工程管理机构等几乎所有行业的企业都开始运用数据发现来优化决策。

数据发现的 3 个类别

数据发现分为多种形式，包括分析、建模和可视化输出。要充分发挥数据发现过程的价值，企业需要理解各个数据流之间的相互影响，而借助可视化发现工具和商务智能 (BI) 软件，企业可以通过以下 3 个数据发现过程获得单一且格式易于理解的全景数据视图。

数据准备

数据准备是所有数据发现和分析工作前至关重要的一步。此步骤涉及清洗、重新格式化和合并所有来源的数据，以便以一致的数据格式进行分析。就像冰球运动员的冰刀越锋利，滑行速度就越快一样，数据准备工作越充分，数据发现的效果就越好。具体而言，数据准备包括数据去重、删除无效值、检测异常值以及确保仅高质量数据进入分析环节的其它工作。

可视化分析

将数据可视化是充分理解数据洞察最有效的方法之一。无论是通过图表、数据流图还是仪表盘，数据可视化都能帮助那些未接受过数据科学训练的用户直观地理解各种数据流之间的关系。例如，设计团队可以轻松了解客户如何使用产品，然后相应调整产品设计。财务团队可以概要了解每个部门的成本和收入信息，识别改进空间和方向。

引导式高级分析

引导式高级分析综合运用描述和可视化来绘制完整的企业数据视图。具体而言，普通分析的输出结果专注于描述数据本身，而引导式分析使企业能够看到更广泛的数据发现结果，包括来自不同团队和流程的数据流之间的关系。引导式高级分析尤其适用于向电商转型的企业，对他们而言，将 Web 数据与现有数据流整合在一起对于制定战略性决策至关重要。

数据发现的优势

数据发现是商务智能的一个子集。它指的是收集多个数据库的数据并整合到单一来源（以简化数据调查和模式识别）的过程。以下是数据发现当下可为企业带来的 5 大优势。

• 全面的企业数据视图：数据发现可为企业提供一个关于企业内众多数据流的全局视图，帮助企业将所有数据流“输入”分析过程，进而开发完善的解决方案来应对业务挑战或满足客户需求。例如，零售银行可以综合使用 Web、移动应用、社交平台以及 ATM 渠道的客户数据，获得每一位客户的更准确的视图，更好地理解客户行为。

• 让洞察和决策“大众化”：在今天，IT 和数据专业知识不应再成为用户获取业务洞察的“拦路石”。数据发现可让企业的所有利益相关者（无论具有何等数据专业知识）告别数据分析难题。例如，销售团队可以洞悉销售策略如何驱动潜在客户走完或退出销售漏斗；财务团队可以识别并消除不必要的运营支出；营销人员可以打通各种客户接触点的数据，了解营销活动是否适应销售需要。简而言之，数据发现拥有近乎无限的应用场景，能够满足不同业务团队的需求。

• 改善风险管理，提高合规性：随着数据规模增长以及监管机构越来越关注数据保护，风险管理和合规性已成为当今企业的头等大事。数据发现可帮助企业从数据中识别异常值和潜在威胁，从而更前瞻性地采取防范措施。同时，企业可以对自身的数据管理工作开展压力测试，确保符合《加利福尼亚州消费者隐私保护法案》(CCPA) 和《通用数据保护条例》(GDPA) 等监管要求。

• 自动化、基于情境的数据分类：企业每天都要从更多来源收集更多新格式的数据。数据发现能够准确地按渠道、条件和情境进行信息分类。例如，零售商可以区分营销、销售和客户服务团队收集的客户数据，全面评估总体（而不是某一时刻的）客户体验。

• 实时数据控制：利用预定义的控制规则或情境化因素，企业可以实时对收集的数据执行特定操作，确保以适当方式存储和分析数据，满足安全与合规要求。数据发现是实施这种实时数据控制的坚实基础。

数据发现中的数据治理

数据治理与数据发现紧密相关。由于数据治理策略和流程旨在保障企业数据质量，因此它能够促进第一类数据发现工作，也就是“数据准备”。强大的数据治理可以确保大多数数据满足企业的定义和格式要求，从而简化并减轻数据准备工作。

此外，大多数数据治理策略的一个重要原则是集中存储数据（通常使用数据仓库），确保数据安全、合规。这种集中存储同样是有效数据发现的一个先决条件。数据集中存储可以使数据更易于访问、分享和修改，确保所有团队都使用最新信息工作。

数据发现的详细过程

除了自身的运营数据，企业还会收集海量的客户数据和供应商数据。而且，企业需要将来自各种渠道（例如移动电话和平板电脑）和各种平台（例如 Facebook 等社交网络）等线上和传统系统的数据流整合在一起。

在数据发现过程中，企业将连通各种来源的数据，执行数据准备（以备分析），跨内部团队分享数据，然后用宝贵的数据洞察为重要决策提供支持。如今，人工智能 (AI) 技术的兴起进一步增强了数据发现。

无论是使用手动还是高级数据发现技术，数据发现一般都分为 5 步（含持续迭代）。

1. 了解待执行的业务分析需要哪些数据。
2. 研究人员必须确定将提供数据的数据源。
3. 确定所有必需数据后，执行搜索查询。
4. 数据团队基于初步查询结果，更深入地检查数据源的相关性，剔除非相关数据，然后相应地优化搜索查询。
5. 研究人员可以评估研究成果的质量，继续迭代执行上述步骤，直至获得理想答案。

手动数据发现与智能数据发现对比

与所有数据流程一样，数据发现流程最初也是依靠人来完成的，这一阶段也称为“手动数据发现”。当时，数据专家需要整合数据，对公司数据进行批判性思考，然后绘制整个组织的信息流。他们会经常设立各种数据挖掘和发现标准，以提高一致性和清晰性。

近年来，得益于技术进步、大数据分析和新兴起的强大的 AI 算法，数据发现取得了显著发展。所有这些工具共同驱动众多与数据相关的流程走向了自动化，如数据收集、数据准备和数据可视化流程。至此，我们进入了最新的智能数据发现阶段，即全球研究和咨询机构 Gartner 定义的“可为业务用户或大众数据科学家提供高级分析洞察的新一代数据发现功能”阶段。

通过部署智能数据发现方法，企业可利用 AI 和机器学习技术来分析海量数据，发现手动方法几乎不可能检测到的数据模式。AI 算法不仅能更有效地从来自多个数据源的数据中提取宝贵洞察，还能提供改进建议（例如全新的数据准备或数据流整合方法），帮助企业优化数据发现过程。

数据发现中的安全性

随着所收集数据的规模和复杂性增长，企业需要采取更先进的安全措施来保管数据和确保数据安全 — 无论数据来自何处，也无论以何种方式收集数据。而为了保护数据和确保数据合规，数据发现成为了 IT 团队的头号大事。

智能数据发现能够出色解决数据安全问题，帮助企业发现异常（例如特定数据访问异常），防范自身和客户面临的风险。AI 算法支持自动执行数据监视并执行特定数据保护策略。由此，企业可以更好地跟踪、控制和防御威胁 — 无论是外部勒索软件攻击还是员工出错。

特别是，数据发现有助于企业更好地查找数据并对多个来源的数据进行分类，然后识别和标注异常值，在真实威胁浮现之前就解决问题。近年来，全球企业因为数据安全问题而承受的罚款已高达数百万美元，在数据驱动经济盛行的今天，数据安全保护已不仅仅是运营问题，还关乎企业的财务生存能力和商誉。

数据发现的使用场景和应用示例

从改善后台业务运营到识别和移除客户体验中的复杂性，数据发现的应用场景十分广泛。同时，得益于 AI 和机器学习算法，企业还可以开展更复杂、目标更远大的数据发现，进一步扩展数据发现的应用范围。以下是数据发现的一些典型使用场景。

• 业务计划：数据发现可以从多个方面增强业务计划工作，例如帮助 CFO 基于过往 12 个月的部门绩效信息制定未来一年的预算分配决策，或者帮助 IT 领导者访问新的云实施项目的 ROI 数据，更好地制定下一阶段工作计划，提高效率。

• 潜在客户挖掘：潜在客户挖掘工作的第一步是了解潜在客户及其需求和利益。然而，不全面的潜在客户数据可能导致定位偏差，错失真正有转化潜力的潜在客户。数据发现可帮助企业收集与每一位潜在客户高度相关的数据并将数据整合到一个准确的客户档案中，然后利用这些数据以高度相关、个性化的方式定位客户。

• 欺诈防范：欺诈是当今企业（尤其是那些在线上运营的企业，每天都会遇到无数 IT 安全威胁）面临的一个主要问题。数据发现非常适用于识别数据中的异常值，使企业可以主动处理可疑活动，提前防范入侵和欺诈行为 — 无论是外部威胁（例如钓鱼邮件）还是员工错误导致的内部问题。

• 保险索赔处理：手动处理保险索赔是一个漫长、成本高昂、充满风险的过程。而且，耗时越长，保险公司越有可能陷入与索赔人的法律纠纷，进一步导致成本上涨。对此，数据发现能够加快保险索赔数据的收集和处理速度，它支持企业利用 AI 算法来对比历史数据与可疑索赔，更好地识别潜在欺诈。

• 社交媒体分析：社交媒体分析的复杂性堪称举世皆知，很多企业不得不采用多种平台来管理社交媒体渠道上的客户关系。对此，数据发现可帮助企业更快地解决客户问题，实时识别客户投诉和客户行为趋势，从而在问题发酵前就得到解决。

数据发现工具

如今，数据发现工具越来越多，它们通常是商务智能解决方案的一部分且至少属于数据发现 3 大类（数据准备、可视化分析和引导式高级分析）中的一种。得益于在大多数行业中几乎无限的应用场景，这些数据发现工具成功为所有层级的员工（其中很多人缺少相关专业知识）扫清了障碍，帮助他们顺利访问多个来源的复杂数据集，获得所需信息。

可从云端轻松访问的高级数据发现解决方案使数据导航和搜索工作变得更轻松。它们能够高效组织和准备数据（包括易于解读的可视化），并可在整个组织内分享分析结果。

数据发现的未来趋势

商务智能 (BI) 解决方案可用于编制报告和监视绩效，而数据发现可帮助所有部门的业务领导者及其团队将数据转化为切实可行的洞察，从而增强 BI 分析。除了改善决策，数据发现还有助于业务领导者在颗粒度层面上审查业务流程和业务模型，然后采取改进措施，取得显著回报。

随着企业推进商务智能现代化和自建数据分析功能，市场对数据发现工具的需求将持续增长。市场调研机构 Research and Markets 的一项分析估计，全球数据发现行业的市场规模到 2025 年将达到 140 亿美元。随着所有员工都将需要访问高度相关的数据和洞察来履行工作职责，数据发现将成为洞察“大众化”的关键。此外，算法将变得更加强大，数据可视化将变得更富创造性，数据发现将成为所有行业中企业业务计划和运营工作的一个核心组成部分。

随着客户拥抱数字平台，在数字平台上搜索、互动以及购买产品与服务，几乎所有企业都在逐步推进运营数字化。在这个数据越来越丰富的业务环境下，数据发现在企业优先目标和客户需求之间扮演着桥梁的作用，使企业能够在充分运用客户数据的同时优化运营，构建更出色的体验。

数据发现常见问题解答

什么是数据发现？

数据发现是指运用高级分析技术探索数据的过程，用以检测其它方法无法揭示的信息模式。值得注意的是，数据发现不需要业务领导者及其团队构建复杂模型，大多数企业在商务智能 (BI) 软件中使用数据发现，通过简单仪表盘或可视格式提供全面的企业视图。

数据发现的用途是什么？

数据发现为企业提供一个全面视图，为利益相关者赋予更多洞察和情境，进而为业务战略提供情报支持，帮助企业做出更明智的决策。

数据发现在大数据领域发挥怎样的作用？

数据发现支持快速、规模化地分析数据，非常适合大数据工作。尤其是智能数据发现，可运用人工智能和机器学习算法来执行复杂分析。

什么是数据发现和分类？

数据发现支持企业自动基于预设规则和情境进行数据分类。因此，企业可以更好地组织和跟踪自己收集的规模日益增长的数据。