OLAP技术研发与思考：ClickHouse 2023总结和2024展望

导读 ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)，主要用于线上分析处理。本文会介绍 ClickHouse 2024 核心新功能和产品研发方向。

今天的介绍会围绕下面三方面展开：

1. ClickHouse 简介

2. ClickHouse 开源产品的产品新特性

3. 问答环节

分享嘉宾｜谢志豪ClickHouse, Inc 技术支持工程师

编辑整理｜王吉东

内容校对｜李瑶

出品社区｜DataFun

FATE：ClickHouse 2024 核心新功能和产品研发方向

01 ClickHouse 简介

1. ClickHouse 是什么?

• 开源

ClickHouse 是一款开源产品，自 2016 年首次开源至今已经 7 年时间；在这期间，有幸得到了全球 1300 余名开发者的贡献；自开源以来，ClickHouse 已发布 500 多个版本。

• 列式数据库

ClickHouse 的核心是以 C++ 和 assembly 编写的列式数据库，并在此基础上进行性能优化，在聚合、排序、索引、后台合并等方面均有出色的表现，因此获得了“世界上最快的数据库”的称号。

• 分布式架构

ClickHouse 是一个高可用性的分布式系统，既可以部署在单个节点上，也可以将不同的节点部署到同一数据中心，甚至可以将节点分散部署到多个不同的数据中心。

在扩展性方面，作为一种 Multi-master 分布式系统，既支持垂直扩展，也支持水平扩展；即便个别服务器出现故障，系统依然可以继续运行，不影响整体的服务体验。

• OLAP 数仓

ClickHouse 是一种 OLAP 数据库，主要为处理不可变数据以及超大规模查询而创建，支持数百 PB 数据量的即时查询服务，同时也支持 BI 工具。

2. ClickHouse 的优势

• 轻量级快速查询

ClickHouse 在大规模数据分析和查询方面表现良好，聚合和计算速度都非常快，如上图右侧截图所示，ClickHouse 的表现显著超越 Pinot、Redshift、Elasticsearch、Druid 等其他竞争对手。

• 资源利用最大化

ClickHouse 采用行业领先的数据压缩技术，存储效率提高数十倍至百倍。

• 方便上手，容易使用

ClickHouse 支持多种不同 Table Function，支持各种数据来源（例如 S3、Delta Lake、Iceberg、Hudi 等）的自助式数据引入，同时支持标准 SQL 语法查询，因此易于上手。

3. ClickHouse 的发展历程

ClickHouse 最初于 2009 年基于互联网规模分析需求而创建；在 2016 年 6 月，ClickHouse 以 Apache 2.0 许可证发布第一个版本；从右图可以看出，自 2016 年起，ClickHouse 经历了飞速的发展，其增长速度远超其他同类型项目。到 2021 年，ClickHouse Inc 成立，公司致力于投资开源产品，实现技术的不断优化。公司去年推出云服务，支持开源软件（OSS）的开发，并构建托管的云 SaaS 产品；这样，ClickHouse 不仅是一个开源产品，同时也提供了云服务选项。

4. 两种 ClickHouse 运营模式

ClickHouse 有两种运营模式：ClickHouse 自建和 ClickHouse Cloud，用户可根据不同的场景选择适当的模式。

（1）ClickHouse 自建

ClickHouse 自建是最初的设计理念：用户直接下载开源软件并部署到环境中；数据可以直接存储在节点上，这是一种简洁高效的模式，数据和资源（如内存、CPU 和磁盘）都直接归属于子节点。

然而这种存储方式也有其缺点：

• 容易出现节点丢失的情况；

• 新增节点，会因数据的复制而耗费较长时间；

• 节点扩展或节点维护等操作会遇到限制。

（2）ClickHouse Cloud

ClickHouse Cloud 是另外一种架构，该架构使用的是对象存储而不是本地硬盘存储，从而实现存算分离。使用这样的架构模式，计算资源可以维持在稳定状态，这样可以轻松替换出现问题的节点，同时可以快速实现扩容或缩容；目前 ClickHouse 支持自动扩容或缩容，对于无服务器产品来说，大大提高了维护的便捷性，降低了维护成本。

5. ClickHouse 企业版在阿里云重磅上线

作为全球云战略的关键组成部分，我们今年 3 月份宣布与阿里云达成合作，将 ClickHouse 引入中国市场。在运营模式上，阿里云版本与原始 ClickHouse 有诸多相似之处，两者均采用存算分离架构，并支持自动扩容和缩容。

这里就产生了一个疑问：开源和云端服务是否存在矛盾？答案显然是不会存在矛盾。开源技术是云产品的核心，如果没有强大且持续发展的开源技术支持，云产品往往很难取得成功；据了解，超过半数的云客户都有使用过开源产品的经验；另一方面，当产品取得了一定的成功，会将收益资源回馈给开源社区，用于支持和发展开源产品。因此，开源产品和云产品之间相互扶持、相互促进、共同发展，最终实现双赢，共同推动创业生态的繁荣。

6. ClickHouse 的使用场景

Uber 使用 ClickHouse 服务作为日志观测平台，日写入量高达数十 PB。

02 ClickHouse 开源产品的产品新特性

1. ClickHouse 开源产品特性简介

在介绍 ClickHouse 开源产品的产品新特性之前，首先要特别感谢所有对 ClickHouse 作出贡献的开发者；在最近的日常版本中，新增 20 多位贡献者，这些开发者在 23.9 版本中首次提交了代码。各位读者如果有兴趣，欢迎参与开源版本的开发过程，或者加入社区了解最新进展。

ClickHouse 致力于处理大数据，因此更快速地导入数据是我们的首要任务。在这方面发生了许多事情，一个典型的例子就是异步插入。这是一种批量插入的方式，可以高效地提高 I/O 和吞吐量。此外，我们还引入了去重插入的功能。有时用户发出插入请求，但结果没有返回，原因有很多种，也许是服务器宕机了，也许是网络问题，用户很难辨别原因，也很难知道插入操作是否成功。而去重功能，会在服务器端维护最近请求的缓存，这样当发出重复的插入请求时，如果这段数据已经插入过，则什么都不会发生；如果尚未插入，则继续进行；这样可以确保不会重复插入数据。这是一个非常酷的功能。

当然，整合也是 ClickHouse 非常重要的一部分。我将在演示的后半部分花更多时间谈论整合，特别是关注数据湖的整合。

今年我们加入了 Hudi、Delta Lake、Iceberg 等不同的数据湖格式，当然我们正在将这些整合到 ClickHouse 中。同时，我们也在优化 Parquet 的读取性能，稍后会详细介绍。

我们还非常关注半结构化数据。当然，已经支持 ClickHouse 从 JSON 数据读取一段时间了。在最新的版本中，我们为 JSON 引入了模式推断，这样只需查看一些对象并了解模式，就可以轻松进行编组和解组。未来我们将继续投资于 JSON 对象的支持，我们的目标是使 JSON 在 ClickHouse 内部成为本机的第一类类型，这样使用 JSON 对象将会更加轻松。

2. Parquet Reading 速度提升

针对 Parquet 读取性能的提升，在 23.4 版本，实现了从 S3/URL 读取数据，速度提升 100 倍；在 23.6 版本，分区查询速度提高了 2 倍，对于单个文档查询提高了 4 倍。之所以得到这样显著的提升，是因为系统只读取相关的列，并根据范围(range)跳过不必要的 block，并且以并行的方式进行执行。

3. MySQL 兼容性支持

常见的第三方 BI 工具大多只支持少数热门的数据库；为了更好地实现 BI 工具集成，我们改进了与 MySQL Wire Protocol 和 SQL 的兼容性，使第三方工具能够与 ClickHouse 无缝交互。我们在这方面会继续与更多的厂商合作，推出更多 BI 工具。

4. SSH 密钥验证

ClickHouse 近期推出 SSH 密钥验证，采用公钥/私钥组合的方式，将私钥放在客户端，公钥存入 ClickHouse 中；这样的方案比输入密码更快、更简单、更安全，能够有效防止暴力破解、撞库攻击等行为，同时提高开发者体验。

5. 数据管理能力方面的扩展

• 轻量级操作

在轻量级操作中，ClickHouse 主要关注数据的快速读取。虽然大部分的数据是不可变数据，但是在有些使用场景还是有大量数据删除和数据更新的需求；如果使用传统的方式来删除数据，会造成所有 part 重构，从而耗费大量的 I/O 和 CPU；假如使用轻量级的删除操作，首先给待删除的数据添加标签，这样后台在数据合并时即可实现数据的彻底删除，而不影响数据的读取性能。

• 数据库事务

数据库事务的支持是用户期待已久且备受欢迎的功能，实现了 ACID 属性的进一步优化，并支持 ClickHouse 用户不同的应用场景；目前该功能仍在研发阶段，会尽快推出这个功能。

• 查询缓存

在开发过程中，每次查询操作相对较为耗时，因此将首次查询结果放入缓存，后期重复查询可直接读取查询结果，这样可以大大减少查询延时，降低资源消耗。

6. 更加灵活丰富的数据分析能力

• 分析器

将分析器加入到 ClickHouse 配套服务中，并将其设置为默认配置，从而增强多关联子句的复杂查询性能。

• 加强 JOIN 性能

加强 JOIN 操作的优化，并支持自动选择 JOIN 方法（如 Merge Join、Grace Hash Join 等）。

• Inverted Indices / Vector Search

团队将继续开发 inverted indices 和 vector search 演算法等新功能，并有望在 2024 年的稳定版中推出。

7. 向量搜索（Vector Search）

向量搜索目前尚处于实验阶段，待测试稳定后有望于 2024 年发布，感兴趣的读者可以访问我们的官方网站了解更多详细信息。

03 问答环节

Q1：ClickHouse 如何支持文本数据（如 JSON 数据以及日志数据等）这类半结构化数据的查询和过滤？

A1：ClickHouse 已经支持 JSON 一段时间了，不过是以 experimental 的功能推出的。前两个月 ClickHouse 在 github 上发布了 RFC，在一定程度上提升了 JSON 的读取性能；然而目前仍然不是非常满意，因此后期计划重写这部分功能，以实现对 JSON 更高效的支持。

对于半结构化数据（log text data），目前 ClickHouse 支持通过 stream 方式，使用 LIKE 方法对 log data 实现查询和过滤，不过查询相对较慢；后期计划完善这部分功能，提升搜索效率，不过现在仍处于实验阶段。

Q2：ClickHouse 在原生 MPP 数据库和 Elastic MPP 数据库方面做了哪些改进？

A2：由于传统扩容效率不高，因此 ClickHouse 创建了 Cloud 模式，以 Serverless 扩展，云端推出 Table Engine 使用存算分离结构。对于原生 MPP 数据库和 Elastic MPP 数据库方面尚未作出修改。

Q3：ClickHouse 对于类似 MySQL 的虚拟列或表达式列的支持情况如何？

A3：ClickHouse 已经支持虚拟列，并且可以使用 MATERIALIZED 子句创建列。它类似于 MySQL 的虚拟列，总是基于另一列进行计算，并且不占用存储。详见：

https://clickhouse.com/docs/en/sql-reference/statements/create/table#materialized

Q4：关联查询方面，如何 JOIN 外部的 ElasticSearch 数据？

A4：ClickHouse 不支持 ElasticSearch 表引擎。但是，我们支持的表引擎有 MySQL、PostgreSQL、MongoDB、S3、Hive、Hudi、DeltaLake 等。并且可以使用它们进行 JOIN。

Q5：ClickHouse 能完全取代 Spark 吗？

A5：是的，ClickHouse 与 ANSI SQL 兼容，就像 Spark 一样。

Q6：ClickHouse 能实现倒排索引吗？

A6：根据实践经验，如果不超过百级的 QPS，在亿级至百亿级的查询量，token 数在千到万的级别，ClickHouse 一般都能做到亚秒级响应。因此先前很多 ES 的场景现在都转移到了 ClickHouse 中。

Q7：ClickHouse 集群规模如何？

A7：完整节点有几千台，对于百亿级别的数据，使用单集群存储，一般情况使用 1 台 SSD 存储就够用了。

Q8：对于 BI 场景下的多表关联需求，JOIN 性能的目标和预期大概是什么水平？

A8：具体的目标和预期目前很难量化，我们在 2024 的 plan list 中已经将这部分工作设定为高优先级。

以上就是本次分享的内容，谢谢大家。

分享嘉宾

谢志豪，ClickHouse, Inc 技术支持工程师

Derek 谢志豪是 ClickHouse 的技术支持工程师。主要工作范围包括帮助大型客户解决重大技术问题，优化 Clickhouse 集群，提升使用体验。Derek 毕业于新加坡国立大学 (NUS) 获得信息系统学位，在 ClickHouse 工作之前一直从事数据平台的优化和管理工作。

声明：本文来自DataFunTalk，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。