大数据治理技术:技术视角下的大数据治理

编者按:随着大数据发展重心从行业应用转向数据服务,大数据治理成为各界的关注和研究热点。本文抛砖引玉,从技术视角解析大数据治理技术体系和治理模式,提出了包含数据、平台和应用的三层架构技术体系,梳理总结了四种大数据治理模式。

一、大数据治理背景和需求

根 据 Gartner 最 近 几 年 发 布 的 大 数 据 发 展 分 析 显 示 : 2011-2013 年 , 出 现 了 大 数 据 建 设 高 潮 ; 2014-2016 年 , 大 数 据 转 向 应 用 阶 段 , 行 业 应 用 成 为 发 展 重 点 ; 2017 开 始 , 大 数 据 转 向 数 据 服 务 阶 段 , 数 据 成 为 基 础 性 战 略 资 源 , 但 数 据 质 量 、 数 据 安 全 、 隐 私 保 护 、 共 享 开 放 等 问 题 日 益 突 出 , 数 据 治 理 开 始 受 到 高 度 关 注 并 引 发 各 界 深 度 思 考 。 梅 宏 院 士 针 对 大 数 据 治 理 提 出,"从 营 造 国 家 大 数 据 产 业 发 展 环 境 的 视 角 构 建 一 个 大 数 据 的 治 理 体 系 及 相 应 技 术 支 撑 体 系 建 设 等"若 干 建 议 。

目 前,各 界 均 意 识 到 大数 据 治 理 的 重 要 性,主 要 存 在 两 方 面 需 求:

(1)内 部 需 求

在 经 历 过 大 数 据 平 台 建 设 和 应 用 发 展 阶 段 之 后 , 企 业 的 重 心 开 始 关 注 如 何 使 用 数 据 , 即 数 据 服 务 。 但 目 前 普 遍 存 在 的 数 据 质 量 低 、 不 规 范 、 不 安 全 等 现 象 , 严 重 影 响 了 数 据 的 利 用 , 已 经 成 为 所 有 企 业 迫 切 解 决 的 问 题 。

(2)外 部 需 求

外 部 需 求 主 要 包 含 两 个 方 面 , 一 方 面 来 自 监 管 需 求 , 尤 其 在 数 据 开 放 、 共 享 、 交 换 、 规 范 、 审 计 、 安 全 隐 私 等 方 面 , 如 银 保 监 会 发 布 《 银 行 业 金 融 机 构 数 据 治 理 指 引 》 , 规 范 银 行 业 金 融 机 构 的 数 据 管 理 活 动 ; 另 一 方 面 , 来 自 市 场 竞 争 压 力 , 企 业 需 要 借 助 大 数 据 提 升 产 品 、 业 务 、 服 务 、 管 理 等 创 新 能 力 , 保 障 企 业 的 市 场 竞 争 优 势 。

二、大数据治理技术

大 数 据 治 理 , 既 需 要 组 织 、 制 度 等 提 供 治 理 保 障 , 也 需 要 工 具 、 平 台 等 技 术 支 撑 。 大 数 据 治 理 技 术 是 将 数 据 管 理 、 制 度 、 流 程 、 组 织 等 治 理 要 素 融 入 技 术 , 支 撑 数 据 治 理 工 作 落 地 , 包 括 技 术 体 系 和 治 理 模 式 两 个 维 度 。 利 用 大 数 据 治 理 技 术 , 不 仅 可 以 显 著 提 升 数 据 治 理 能 力 和 治 理 工 作 效 率 , 还 能 降 低 数 据 治 理 成 本。

1. 大 数 据 治 理 技 术 体 系

为 了 更 好 的 指 导 数 据 治 理 技 术 建 设 , 需 要 一 个 顶 层 的 技 术 体 系 设 计 。 基 于 目 前 国 内 外 研 究 成 果 , 我 们 认 为 目 前 的 大 数 治 理 技 术 体 系 应 该 包 括 三 个 层 面 : (1)数 据 治 理 。 即 以 数 据 为 核 心 , 从 元 数 据 、 标 准 、 质 量 、 安 全 、 主 数 据 等 方 面 , 为 数 据 提 供 全 生 命 周 期 治 理 。(2) 平 台 治 理 。 即 以 平 台 为 核 心 , 结 合 平 台 类 型 、 业 务 、 治 理 需 求 等 , 将 对 应 的 治 理 技 术 , 融 入 大 数 据 平 台 的 采 集 、 存 储 、 计 算 等 过 程 , 实 现 对 大 数 据 平 台 管 理 过 程 的 治 理 。 (3)应 用 治 理 。 即 以 应 用 为 核 心 , 结 合 应 用 类 型 、 业 务 、治 理 需 求 等 , 将 对 应 的 治 理 技 术 融 入 大 数 据 应 用 工 具, 实 现 对 大 数 据 应 用 过 程 的 治 理 。

图1 大数据治理技术体系

2. 大 数 据 治 理 模 式

大 数 据 治 理 技 术 种 类 多 样 、 功 能 各 异 , 不 同 技 术 的 相 互 融 合 会 带 来 更 好 的 效 果 , 因 此 , 治 理 模 式 的 选 择 显 得 尤 为 重 要 。 梳 理 目 前 的 市 场 需 求 和 应 用 现 状 , 可 总 结 出 四 种 数 据 治理 模 式 。

(1)元 数 据 治 理 模 式 。 元 数 据 用 于 描 述 企 业 数 据 的 各 方 面 特 征 信 息 , 是 数 据 标 准 、 数 据 质 量 、 数 据 安 全 等 治 理 的 基 础 。 通 过 对 业 务 、 技 术 及 过 程 的 元 数 据 治 理 , 能 够 帮 助 企 业 建 设 数 据 资 产 的 统 一 视 图 , 实 现 数 据 资 产 的 盘 点 和 展 示 。 元 数 据 治 理 模 式 以 元 数 据 治 理 为 核 心 , 同 时 融 合 数 据 标 准 治 理 和 数 据 安 全 治 理 , 以 确 保 元 数 据 管 理 服 务 的 规 范 性 和 安 全 性 。

图2 元数据治理模式

(2)质 量 治 理 模 式 。 数 据 质 量 可 影 响 决 策 的 成 败 , 可 谓 差 之 毫 厘 、 谬 以 千 里 , 因 此 数 据 质 量 对 企 业 发 展 至 关 重 要 。 数 据 质 量 治 理 通 过 质 量 检 核 指 标 的 制 定 与 维 护 、 数 据 质 量 告 警 、 质 量 问 题 的 分 析 和 管 理 等 , 实 现 对 数 据 的 绝 对 质 量 管 理 与 过 程 质 量 管  理 。 质 量 治 理 模 式 以 数 据 质 量 治 理 为 核 心 , 同 时 融 合 数 据 标 准 和 数 据 安 全 治 理 , 以 确 保 数 据 质 量 管 理 服 务 的 规 范 性 和 安 全 性 。

图3 数据质量治理模式

(3)安 全 治 理 模 式 。 数 据 安 全 通 常 包 括 数 据 访 问 、 数 据 使 用 、 隐 私 数 据 、 安 全 审 计 等 。 数 据 安 全 治 理 是 利 用 数 据 加 密 工 具 、 数 据 脱 敏 工 具 、 数 据 库 安 全 工 具 、 数 据 防 泄 漏 工 具 、 数 字 水 印 技 术 、 身 份 认 证 技 术 等 保 障 企 业 数 据 的 安 全 。 安 全 治 理 模 式 以 数 据 安 全 治 理 为 核 心 , 同 时 融 合 数 据 标 准 治 理 , 以 确 保 数 据 安 全 管 理 服 务的 规 范 性 。

图4 安全治理模式

(4)主 数 据 治 理 模 式 。 主 数 据 是 企 业 真 实 的 、 关 键 的 业 务 数 据 。 针 对 这 些 核 心 关 键 数 据 , 对 于 其 质 量 、 一 致 性 、 可 用 性 、 管  理 规 范 等 , 都 有 着 最 严 格 的 数 据 要 求 。 主 数 据 治 理 通 过 对 业 务 数 据 的 整 合 、 管 理 , 提 供 数 据 建 模 、 数 据 地 图 、 数 据 集 市 和 数 据 全 生 命 周 期 管 理 。 主 数 据 治 理 模 式 以 主 数 据 治 理 为 核 心 , 融 合 数 据 标 准 、 数 据 质 量 和 数 据 安 全 治 理 , 以 确 保 主 数 据 管 理 服 务 的 规 范 性 、 高 质 量 和 安 全 性 。

图5 主数据治理模式