应用实践 | 物易云通基于 Apache Doris 的实时数据仓

导读物易云通目前已成为国内产融供应链运营服务平台的领军企业之一，平台年交易额超过 200 亿元，随着公司业务的快速发展，对数据计算分析的时效要求也越来越高。经数据团队的调研对比，于 2021 年引入了 Apache Doris 作为实时数据仓库。实战过程中获得一些经验，在此分享给大家。

作者｜物易云通/司机宝大数据负责人 吴凡

业务背景

武汉物易云通网络科技有限公司成立于 2015 年 6 月，总部位于湖北省武汉市东湖高新区。作为国内产业互联网的探索先行者，公司致力于将产业互联网思维与新一代信息技术深化应用于煤炭、建筑、再生资源三大业务领域，以标准化、场景化、数字化的供应链综合服务解决能力，开创互联网化的“供应链技术+物流服务+金融场景”的产融协同新生态。目前公司已成为国内产融供应链运营服务平台的领军企业之一，平台年交易额超过 200 亿元。公司入选 2020 年中国互联网企业综合实力 100 强，2021 年武汉市软件收入第一名。

随着公司业务的快速发展，对数据计算分析的时效要求也越来越高。之前的产品已经无法应对庞大的数据量，为解决这一问题，数据团队通过调研对比，在 2021 年引入了 Apache Doris 作为实时数据仓库。基于 Apache Doris 建设实时数仓的过程中，沉淀了许多经验，借此机会分享给大家。

数仓架构演进

公司创业之初，是使用 MySQL 作为 BI 仓库，每天增量卸数后导入，通过定时调度存储过程进行计算。该方案能快速满足公司的跨库数据关联计算的需求，随着业务发展，数据和任务不断增多，MySQL 已难以支持，该方案局限性比较大，如果业务表存在物理删除或者没有数据更新时间的情况下，则会导致数据不准。

为了解决上述问题，我们搭建了一套 CDH 作为数据仓库。通过 Canal 订阅 MySQL 的 Blog 到 Kafka，进行编写消费程序，将数据写入 Hbase，然后增量合并到 Hive 中，通过 Oozie 调度计算脚本。

离线 T+1 的数据只能满足一部分的业务需求，我们需要一套能快速查询实时数据的数据仓库，可以支持离线需求和实时需求，经过许多产品的调研对比，证明 Apache Doris 可以很好地实现我们的业务需求。

架构方案对比

Doris 数仓架构通过 Flk CDC 实时接入生产库数据到 Doris，支持实时 OLAP，然后通过海豚调度器定时执行 SQL 脚本，替代 Hive 的离线数据计算任务。

新架构的优势

1、数据处理架构简单

新的架构里我们使用了 Flk CDC 来做数据同步（Flk CDC 内置了一套 Debezium 和 Kafka 组件，但这个细节对用户屏蔽），它不但可以读取增量，还能读取全量数据，然后将数据通过 Stream load 的方式写入 Doris。

2、一份数据，实时全量

由于 Hive 查询很慢，所以之前是把 Hive 的数据通过 Sqoop 推送到 MySQL 进行查询，即有多份数据存储在不同的 MySQL 上，维护和存储成本都很高，并且 Hive 里只有 T-1 的数据，需要每天写脚本合并。Doris 支持 MySQL 协议，可直接查询， Doris 支持主键数据去重及更新，有实时的全量数据，解决了实时报表和在线 OLAP 的需求。

3、架构简单，易于部署维护

相对于 Hadoop 那一套各种组件来说，Doris 部署维护非常简单。

4、一键全库接入，结构实时同步

通过自研的数据易平台，实现了 MySQL 一键全库接入 Doris，即通过页面选择后，一键生成 Flk CDC 任务在 Yarn 上持续运行。而且通过解析 Blog 里面的 DDL 语句，将其转化为 Doris 语法，利用 Doris 的 Onle Schema Change 特性，实时同步生产数据库的表结构变更，保障了表结构一致，新增字段数据一致。

5、秒级查询

Doris 查询是秒级，Hive 是分钟级，跑批的效率提升了 20-30 倍。而之前用的是 Impala 加速 Hive 的查询，每个表在使用前都要 Refresh 一次，非常麻烦，并且 Count Distct Impala 近似计算不准确。

系统重点功能

数据接入

第一步选择需要接入的 MySQL 库类型，默认是 A，即最常见的全局库名唯一。

还存在几种其他的情况

B、全局有多个名称相同、结构不一致的数据库。比如部分大表做了数据切割归档到另一台机器上了。 C、全局有多个名称相同、结构一致的数据库，即分库。我们需要将数据合并到一个 Doris 库表中，方便数据分析。 D、全局有多个名称不同、结构一致的库。比如DB_租户 A 的库， DB_租户 B 的库，我们也是要把数据合并分析。

第二步，选择 MySQL 库实例，进行提交（如果不想接入全库，可以勾选部分表）。对应的目标数据库是 Doris 里面的 ODS 贴源层，和生产数据保持一致，一个库一个任务，可以视情况调整内存等参数。

注意通过列表可以进行任务管理，恢复任务是运用了 Flk CDC 的 Checkpot 机制，在任务异常挂掉时可以恢复运行。Flk CDC 任务目前是运行在 Yarn 上。

数据计算

我们在数据易平台上开发了数据计算任务功能，用户编写 SQL 后，点击 SQL 解析，即可自动识别出脚本里用到了哪些来源表，生成了哪些结果表，最终在海豚调度器里生成对应的任务和上游任务 Depend 关系。

说明为了保障各个 T+1 报表的数据一致性，我们做了 ODS 层到 DWD 层的一套计算任务，即每天 0 点将 ODS 层中近 2 天的增量数据 sert to 到 DWD 层进行更新，后续 T+1 的计算任务统一从 DWD 层进行计算。

注意需要把物理删除变成逻辑删除，使用时剔除。如果直接在 ODS 里面同步物理删除，会导致 DWD 层里无法通过增量方式同步删除。

新架构的收益

降低资源成本