2022年10月，在中国信通院组织的首批云原生湖仓一体评测中，阿里云计算有限公司参与并完成了测评。该评测依据《云原生湖仓一体数据平台技术要求》进行，共涉及湖仓数据集成、湖仓存储、湖仓计算、湖仓数据治理、湖仓其他能力五大能力域。随后阿里云自研大数据平台产品负责人刘一鸣(花名合一)接受了信通院云计算与大数据研究所的访谈，就什么是湖仓一体，为什么做湖仓一体，湖仓一体的技术特点以及应用场景进行了探讨。
信通院云大所：请谈谈什么是湖仓一体，与数据仓库、数据湖等以往的数据工具有什么关联？
刘一鸣（合一）：首先从数据处理平台发展的历史看，这几个概念以及背后的技术架构是适应不同的发展阶段产生的：从最早的数据库、数据仓库，发展到大数据时代下的百花齐放，这其中云厂商为了解决大数据的存储和处理，推出了云上分布式数据处理平台，包括谷歌的 BigQuery、微软Cosmos，也包括阿里云的 MaxCompute这样的集成系统，称为大数据时代的云数据仓库。于此同时，云上和传统Hadoop 体系也分别构筑了一套以对象存储和以开放式HDFS为中心，以开源、开放的文件格式、开放的元数据服务以及多种引擎协同工作的模式。它们共同形成了数据湖的雏形。湖仓一体本质就是这些异构数据平台走向一体化的一个过渡阶段。
信通院云大所：请谈谈为什么做湖仓一体，其技术特点是怎样的？
刘一鸣（合一）：湖仓一体的出现的背景：首先阿里云 MaxCompute做湖仓一体是客户需求驱动的，我们的一个社交媒体大客户原有的技术平台是以Hadoop体系搭建的，这种开放架构带来了不错的便利性，但在企业级能力构建上遇到瓶颈：基于大数据量的 AI模型训练传统架构根本跑不动，同时缺少极致的弹性资源扩缩容的能力去应对业务变化带来的需求。另外一些客户在云上，利用云上对象存储存放各种各样的数据，也就是被当做数据湖。这些客户都想利用云数据仓库类产品增强性能、成本、企业级安全以及联邦计算能力，一定程度上开始将非数仓自身存储的数据纳入管理（比如 Hadoop、云对象存储），和数据湖的边界日益模糊，我们湖仓一体就比较清晰了：在原有的数据仓库架构上，融合了开源数据湖（Hadoop）和云上数据湖（对象存储OSS）。整体架构具备统一的数据安全、管理和治理等中台能力。在连接湖仓的同时，我们也支持更广泛的联邦查询（如 MySQL/ PG / NoSQL 数据库生态）。
信通院云大所：请谈谈为什么做湖仓一体，其技术特点是怎样的？
刘一鸣（合一）：基于阿里云自研的 MaxCompute云数仓平台，统一数据开发、治理平台Dataworks以及数据湖构建（DLF）等组件配合可以进一步对湖仓两套系统进行封装 可以进一步对湖仓两套系统进行封装，屏蔽湖和仓异构集群信息，构建一体化的大数据中台，实现一套数据、一套任务在湖和仓之上无缝调度和管理。企业可以使用湖仓一体化的数据中台能力，优化数据管理架构，充分融合数据湖和数据仓库各自优势。使用数据湖做集中式的原始数据存储，发挥数据湖的灵活和开放优势。又通过湖仓一体技术将面向生产的高频数据和任务，无缝调度到数据仓库中，以得到更好的性能和成本，以及后续一系列面向生产的数据治理和优化，最终让企业在成本和效率之间找到最佳平衡。
案例我们有刚才提到的国内头部社交媒体客户，他们主要做社交媒体领域里的推荐/排序、文本/图像分类、反垃圾/反作弊等技术。作为国内Top的社交媒体应用，它的业务体量和复杂性已然进入到开源“无人区”，开源数据湖方案在性能和成本方面都无法满足生产级要求。客户借助阿里云飞天大数据和AI平台能力（MaxCompute+PAI+DataWorks ），解决了超大规模下的特征工程、模型训练以及矩阵计算的性能瓶颈问题，进而形成了MaxCompute平台（数仓）+ 开源平台（数据湖）共存的格局。
我们还有一些游戏、金融服务的客户也是面临同样的异构平台打通的问题，也是通过湖仓一体方案，让新业务摆脱资源的瓶颈，迅速成长起来。
声明：本文来自大数据技术标准推进委员会，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
