海量数据 累计实时分析3万多亿条
跨行业 家电、美妆、快消、手机、食品
核心场景 广告投放、活动营销、实时BI、运营分析
核心系统 全域精细化用户运营平台、数据分析平台、商品运营平台、交易业务报表分析平台
今年京东618中,京东云数据库JCHDB的亮眼实绩,不仅充分展示分析型数据库驱动业务发展的价值,也展现了开源ClickHouse的极致性能。
01 从OLTP到OLAP 数据分析的价值彰显
常用的传统MySQL数据库,是OLTP事务型数据库的代表,主要对数据进行增删改,在处理的数据量较小时,拥有非常优秀的计算操作。但受限于单机计算能力,随着数据量的增加,尤其是达到千万级后,数据库的处理性能容易下降。

相比而言,OLAP分析型数据库能更好的提升数据价值,不仅能充分利用数据,还支持充当分析决策角色。借助分析型数据库,可以挖掘出数据背后的价值,对未来的数据增量、热点等做出预判,为业务决策提供支撑。OLAP可以看作是OLTP的一种延展,为OLTP的数据发现价值。
以史为鉴,可以知兴替,以数据为鉴,可洞知行业未来。通过数据分析,找出下一个业务增长点,正是数据分析师重点关注的问题,特别是在大数据时代,数据对业务的驱动效应日益增强,如何寻找一款合适的分析型数据库至关重要。
02 ClickHouse 极致性能的分析型数据库代表
DB-Engine上 ClickHouse的排名趋势图
自 2016 年开源以来,ClickHouse在开源社区非常火热,成为分析型数据库的新贵。凭借数倍于其他顶尖交互式分析数据库的极致性能,ClickHouse的综合指数排名涨势迅猛,截止 2021 年 8 月,ClickHouse已在Github上获得 18.2K Star,DB-Engines排名近一年上升 16 位,并在很多头部企业都有大量实践场景。
在常用的具有实时处理能力的分析型数据库中,ClickHouse更贴合实际业务场景。具体来看,ClickHouse单表查询性能表现极佳,宽表支持性强,动态增加列没有任何性能损耗,数据高效压缩。此外实时计算能力卓越,几乎能秒级搜索过滤几十亿甚至百亿级数据,并且不需要预计算,省去了额外的存储调度成本。同时由于ClickHouse的SQL兼容性强,支持实现了大部分关系型数据库的SQL语法,对用习惯了MySQL的研发人员而言,上手难度极低。
Clickhouse、Greenplum 性能对比
得益于独特的数据存储压缩算法和向量计算,在一些测试中,相同规模的资源情况下,ClickHouse的性能优势可达到Greenplum的5-10倍。在满足实际业务需求的前提下,综合性能、成本、安全性、可维护、扩展性等等多方面因素的考虑,ClickHouse都是分析型数据库的极佳选择。
03 京东云数据库JCHDB ClickHouse内核的云原生升级
产业数字化大势下,数据库的构建与利用,是企业数据管理能力的核心。在技术探索之路上永不止步的京东云,早已全面拥抱ClickHouse,完成在内部多个业务场景的深度应用。立足长期实践积累的丰富经验,京东云推出基于ClickHouse开发的数据库JCHDB,帮助更多企业用好这款分析型数据库,免于ClickHouse开源版的使用难题。

以开源ClickHouse为内核,以混合云操作系统云舰为底座,京东云数据库JCHDB打造了强大的云原生架构。基于云舰的操作系统级管理能力,JCHDB可以无视公有云、专有云、混合多云等基础设施的底层差异,以云原生方式,通过云舰的K8S完成数据库的创建、运行、管理,并在长期的业务实践中发展出领先特性。
|规格灵活定义,高拓展性适配业务发展
京东云数据库JCHDB充分发挥ClickHouse最亮眼的分片存储与汇总计算功能,可实现多核、多节点的并行化查询,其查询性能比开源数据库高1-2个数量级。此外JCHDB支持分片数和副本数自定义,最大支持千余个节点,支持多数据副本,扩展能力强大,可充分满足业务快速增长的需求。
|故障自动恢复,保障产品高可用性
京东云数据库JCHDB拥有极高可用性,当检测到数据故障时,自动替换出问题的节点,完成修复,免去人工运维的烦恼。具体来看,京东云数据库JCHDB借助Operator功能,提前把维持高可用的逻辑注入到K8S,定时循环执行Diff流程,完成实际状态和期望状态的对比。一旦发现不一致,就根据事先存储的声明状态来修复。有了这个能力以后,当节点出现故障宕机时,JCHDB自动kill问题节点,新建一个正常节点。
|便捷运维,全维度系统级监控
JCHDB可从各维度提供系统级和数据库实例级监控,不仅监控指标丰富,还能根据监控指标自定义告警规则。通过在K8S部署相关日志和监控收集插件,JCHDB能实时监测各类运行指标,查看所有节点的监控状态,同时也可以配置各种监控指标阈值,随时掌握生产环境的运行告警。
|多种安全防护机制
京东云数据库JCHDB的实例默认运行在VPC中,避免数据库直接暴露在公,网中,可避免绝大部分攻击。同时可提供IP白名单功能,进一步加强数据库安全性。
04 数据分析驱动业务 复杂场景的大规模实践
基于强大的开源ClickHouse内核、混合云操作系统云舰底座和领先的云原生架构,京东云数据库JCHDB拥有卓越的秒级海量数据处理能力,是大规模数据在线分析场景的利器。

以京东618的实践为例,作为全球最复杂的场景之一,贯穿京东站内外每天有数十亿级别的实时数据写入、数据更新、数据关联、数据聚合和数据查询操作,同时为实现对用户、商品的精细化运营,品牌商要求对品牌、类目、店铺、触点等多维度数据完成实时分析。
依托列式存储和向量化引擎,京东云数据库JCHDB在618期间不仅高效完成压缩数据,支持每秒数十亿数据输入,完成出色的查询保障,使用本地表关联查询在服务端二次聚合方式,解决分布式表关联查询慢难题,还成功支持大SQL快速数据分析,支撑京东零售全域精细化用户运营平台、数据分析平台、商品运营平台、交易业务报表分析平台等核心系统,累计实时分析数据3万多亿条,保证商家和运营人员可以快速决策,为京东618营销保驾护航。
不止于零售电商,京东云数据库JCHDB在物流领域、工业领域、互联网广告领域都有广泛的深度应用,从实时数仓到监控报表、日志分析,从几个节点到几百个节点,JCHDB的卓越性能已在多种场景、多类业务系统、多级规模的实践中得到充分验证,未来将在更多的行业场景中,从商业选品、广告投放、精准营销等业务出发,助力全球品牌商家实现高效精准的消费者洞察与运营。