InfoQ 推荐 ( ) • 2024-04-23 12:32

OceanBase又有了新动态。

4月20日,在第二届OceanBase 开发者大会上,OceanBase宣布了其4.3版本的正式发布。在这一新版本中最引人瞩目的进展是推出了列式存储引擎,旨在打造PB级别的实时分析数据库,从而进一步强化其TP/AP一体化的能力。

随着这一技术的突破,OceanBase的应用场景得以进一步拓展,从传统的TP、HTAP领域,拓展到了更广泛的TP、HTAP、AP领域。在发布会现场,OceanBase CTO 杨传辉表示,将重点打造“PB级实时分析数据库的最强六边形战士”。

如果说OceanBase的几个版本满足了用户对于一体化数据库的想象,那么这一次的4.3版本更让我们看到了OceanBase的更深层价值。在一体化战略的加持下,它正在成长为全行业能力最全面的数据库产品之一。

那么,为何OceanBase会选择将AP能力作为发展重点,OceanBase 4.3又实现了怎样的能力升级?走进OceanBase开发者大会,或许能找到你想要的答案。

 

AP数据库的核心痛点,TP/AP一体化或提供解法?

对于OceanBase来说,TP/AP一体化是自然而然的选择。杨传辉认为,之所以要补足OceanBase的AP能力,是OceanBase产品自然发展的必然路径之一。无论是单机分布式,还是TP/AP,都是一体化产品战略发展之下的产物。

在OceanBase 4.2.1等版本的升级之下,产品的核心业务场景的TP能力已经打磨得非常成熟,那么一体化的核心能力自然而然地转向了AP。秉持着“用一套系统解决80%问题”的目标,OceanBase必然要深化并补全产品的AP能力。

更重要的是,越来越多的开发者及企业对于AP的需求也在逐渐上升。

归根结底,在当下时代,数据蕴含的价值正在日渐提升。对于企业来说,想要提升核心业务,加强场景服务,对于数据的挖掘变得越来越重要,AP技术的地位也日益凸显。作为数据处理的核心,企业对于数据库实时分析能力的要求日渐增加,AP数据库开始收获全行业的关注。

但在这个数据井喷的时代,传统的AP数据库已经难以满足很多企业的需求。它们往往大查询能力很强,AP生态的适配性很强,但是无法做到实时的写入。在兼容性、功能性等方面,又跟OLTP系统有着巨大的差距。与此同时,目前已有的大部分AP系统往往缺乏业务场景的打磨,对于许多企业来说,其可靠性和稳定性仍要打一个问号。

而伴随着AI与大模型技术的成熟,AP技术无疑将会在未来发挥更加重要的作用。无论是金融、电商还是更多行业,都需要通过AP技术来挖掘数据的价值,为企业的发展提供有力的支持。

但这些行业往往也有着较大的TP需求,于是企业们不得不选择使用TP+AP两套数据库系统,或是多种数据库搭配使用。尽管这暂时性地解决了需求问题,但数据系统冗杂、分析链路复杂、自研成本高等问题仍旧困扰着每家企业,亟待解决。

需求与现实之间的巨大落差促使数据库产品们走向进化。HTAP也成为了近年来炙手可热的概念之一,但对于OceanBase团队来说,HTAP远远称不上完美,他们要真正实现TP/AP的一体化。

用户的实践与期望是最大的动力。在OceanBase 4.2发布后,基于其OLTP Plus能力,许多客户选择通过OceanBase替代以往复杂的数据库系统。据杨传辉在大会现场介绍,包括海底捞、携程、贝壳在内的许多企业都在选择用OceanBase替代以往的多数据库方案,实现了一定程度上的链路优化。OceanBase的AP/TP一体化战略已经初见成效。

但这并不是OceanBase所认为的终点。

“尽管OceanBase有着更灵活的部署方式,但我们仍认为HTAP并不是万能的。”杨传辉将视野放到了更大的数据需求上,“在几百GB到几百TB这样的场景里,HTAP还可以适用,但面对更大的数据量,其往往无能为力。这也是大公司们往往将AP与TP分开,通过两套系统进行处理的原因。”

针对更大数据量级场景,并加强其实时性、可靠性,在一体化、易用理念的加持下,OceanBase 4.3最终诞生。这款产品想要通过真正意义上的TP/AP一体化,解决客户及开发者们面临的数据领域“最后一公里”难题。

OceanBase 4.3:三大核心技术升级,做最强六边形战士

相比于HTAP,OceanBase的TP/AP一体化到底有何不同?

 

“我今天想抛出一个新的概念,‘TP/AP一体化’不一定是把TP跟AP放到一个系统,也可以是把OceanBase分布式数据库的TP能力直接融合到AP系统里面,做出更好更实时更易用的新型实时数据库。”

在大会现场,杨传辉进一步解析了OceanBase的TP/AP一体化思路:将已有的TP及HTAP能力融入进AP数据库系统中,打造一套全新的一体化数据库。换句话说,OceanBase 4.3不再是OLTP的延伸,而是在OLAP的基础上融入已有的TP能力,某种程度上来说,AP成为了OceanBase 4.3最核心的功能之一。

在OceanBase看来,一体化概念并非仅限于狭窄的HTAP定义,而是更广泛地指用一套系统充分复用底层系统能力,从而支持各种各样的工作负载。OceanBase 4.3的实时AP能力负载已经达到了PB量级。在TB到PB这个最广泛的数据量级范围内,OceanBase 4.3能够胜任大部分企业对TP与AP的需求。

据杨传辉介绍,OceanBase 4.3主要有三大核心技术升级:

首先,基于LSM-Tree架构推出列式存储引擎,实现行存、行列混存和列存等多种存储方式,同时融入分布式TP核心能力小事务写入技术,有效消除数据导入延迟,满足更严苛的AP实时分析需求。此外,OceanBase还利用列式存储的特点,实现了高效的数据压缩和编码,进一步提高了存储效率。

其次,全新推出基于列数据格式描述的2.0向量化引擎和物化视图,进一步提升了深度AP场景下的性能表现,可实现秒级实时分析,极大提升了OLAP实时分析的能力。相较于实时分析数仓,OceanBase在实时分析这一场景上具备实时写入、读写强一致、大规模并行处理、管理运维难度低等优点。

最后,OceanBase 4.3的TP性能、易用性进一步增强。在KV的场景中,OceanBase 4.3版本的性能相比4.2.1有了大幅度的提升,单行读写能力提升了70%,批量读写能力提升了80%。在估行系统、统计信息、代价模型、Online DDL、会话管理、日志流、租户克隆等方面都得以优化,提升了数据库在关键业务负载中的性能和稳定性。

从TP能力的持续打磨,再到AP分析能力提升、AP实时性能提升,OceanBase 4.3实现了全方位升级。通过全新列式存储引擎,打造PB级实时分析数据库,可实现秒级实时分析。针对实时数仓在使用、管理更为复杂的短板,在TP、HTAP的能力加持下,OceanBase 4.3为行业提供了一个全新的解法。

针对AP性能,发布会现场,OceanBase也延续了“传统”,开启了一场现场跑分PK。在同等硬件条件下,OceanBase 4.3与业内一流的列存大宽表数据库ClickHouse进行了跑分PK。结果显示,在大宽表场景,两者的查询性能处于同一水平,这也直接证明了OceanBase 4.3的AP能力。在TB到PB的量级范围内,OceanBase已经拥有了不错的实时分析能力。

通过对旁路导入、外部表的支持,以及行式存储与列式存储之间的动态转化的实现,OceanBase 4.3进一步满足了OLAP的多元需求场景,如物化视图、联邦查询计算的下压等。

通过分布式计算引擎的能力的提升,OceanBase 4.3也构建了更好的MPP架构,并且支持向量化引擎以及DOP。4.3版本增强了对JSON等半结构化数据的支持,OceanBase 4.3版本也与最主流的流式数据库做了很好的兼容适配。

而在可靠性与稳定性方面,OceanBase 4.3在开发、测试流程上也做到了双线并行,稳步迭代。另一方面,背靠蚂蚁集团的庞大生态,在核心业务场景的应用角度,OceanBase有着得天独厚的优势。在大流量场景的实践应用之下,OceanBase 4.3能够抵御大多数类型的风险与问题。

总结来看,在TP性能、分布式、兼容性、AP存储、AP计算、AP工具生态能力六大方面,对于PB以下企业在AP应用场景中,OceanBase正在成长为一个“六边形战士”。一个可以预见的事实是,在未来,对于有HTAP及OLAP需求的PB以下企业来说,OceanBase将非常具有吸引力。

 

从开源开放出发,OceanBase走向未来

从TP到HTAP,再到AP,OceanBase已经能够实现对数据库大多数需求的响应,这也是其在“关键业务负载”一体化战略上迈出的重要一步。

在大会现场,杨传辉也再度强调了OceanBase开源生态的重要性。

自2021年6月1日正式开源以来,OceanBase的开源生态蓬勃发展。现如今,其社区版部署的集群数已超过1万,涵盖了携程、快手、知乎等众多主流互联网公司。这些公司利用OceanBase开源社区版,在各种业务场景下实现了高效的数据处理与存储,进一步证明了OceanBase的技术实力与市场价值。

在开源生态的建设上,OceanBase不仅注重产品的技术创新与迭代,更重视与开发者之间的沟通与协作。通过举办开发者大会、发布技术文档、提供技术支持等方式,OceanBase积极倾听开发者的声音,不断优化产品体验,满足开发者的实际需求。

展望未来,OceanBase将继续深化开源生态的建设,推动数据库技术的创新与发展。一方面,OceanBase将进一步完善单机分布式一体化架构,提升产品的稳定性、性能及性价比,满足更多企业的需求;另一方面,OceanBase将积极探索与AI技术的融合,构建对KV、多模乃至未来AI融合的能力,支持各种各样的工作负载,为企业提供更全面、更智能的数据服务。

正是在这种开放创新的发展理念下,OceanBase在实践中快速成长。可以预见的是,未来,随着技术的不断发展和市场的不断变化,OceanBase将继续致力于提供更加先进、更加完善的数据库解决方案,帮助企业更好地应对数字化时代的挑战。