人们每天社交、餐饮、游戏、支付、打车等日常活动,离不开各种各样的程序应用。它们的背后,都离不开数据库。如果将整个软件产业体系比喻成一棵参天大树,数据库则处于其中最核心的基础部分,在其之上衍生和支撑着大部分的软件生态,进而支撑起各行各业核心业务系统的正常运转。
数据库,是和芯片、操作系统并列的现代信息技术领域的三大核心基础之一,被誉为基础软件“皇冠上的明珠”。鲜为人知的是,它也是中国企业曾经被“卡脖子”的核心技术之一。
如今,国产数据库在金融、运营商等最关键行业龙头企业的核心系统中,已开始全面破冰,实现落地应用。这些行业的成功案例也预示着,这门长期被海外巨头垄断的关键生意,已被本土企业打破了。
11月16日,在国产数据库OceanBase2023的年度发布会上,OceanBase CEO杨冰介绍了OceanBase的最新商业化情况:客户数突破1000家,在金融领域市场占有率第一。
他还介绍,是中国数字经济的蓬勃发展,催生了对分布式数据库的强大需求,这种需求牵引了OceanBase不断投入自主研发,最终引领全球创新,推动树立了分布式数据库的四项新标准。
国产数据库正在迎来真正的春天:在5G、AI、云计算等技术驱动下,国产数据库在分布式这条道路上也开辟出了一条全新的赛道。
数据库的前世今生:把一只“虫”逼成了一条“龙”
数据库技术的诞生与发展,既顺应了时代的召唤,也充满了斗争与艰辛。
数据库,即数据管理系统,诞生于20世纪60年代中期的美国,可以被视为电子化的文件柜。大型机凭借其超强的计算和输入/输出处理能力,以及在稳定性和安全性方面的卓越表现,引领了计算机行业的发展,集中式的计算机系统架构也成为了主流。与国外厂商的诞生时间和发展速度相比,我国数据库此时处于相对落后状态。
20世纪70年代,IBM公司研究员发表了一篇重要论文,其中提到建议使用关系型数据库模型,甚至把查询语言SQL也琢磨了出来。这一观点改变了人们对数据库的看法。在这种模型中,数据库的模式或逻辑组织与物理信息的存储不再直接连接,这也成为了以后数据库系统的标准原则。自此关系型数据库系统开始成为主流。
到了80年代,传统的关系型数据库已能满足大部分的日常数据存储的需求,美国数据库市场迎来了井喷,甲骨文的Oracle、IBM的DB2、微软的SQLServer等,如雨后春笋般冒了出来。彼时,中国的数据库技术却尘封在象牙塔里。
风云起,时代变,一切局势都在潜移默化中开始扭转。从“集中式架构”到“分布式架构”的演进,对于国产数据库追赶世界级数据库,等同于一次“换道超车”的机会。
移动互联网的兴起让中国抓住了发展机遇,不仅催生了像移动支付这样的新型支付方式,也带来了更快发展的分布式数据库,它更适用于海量数据、高并发的场景。互联网应用的繁荣发展,倒逼了数据库等底层技术的研发创新,活生生把一只“虫”逼成了一条“龙”。在十年多的时间里,国内涌现了一批极具竞争力的数据库产品,OceanBase就是业务倒逼技术发展的典型代表之一。
扼住数据的“喉咙”:中国场景,推动树立四项新标准
根据中国信通院最新数据,2022年全球数据库厂商有363家,其中中国有116家,占比32%;而在全球700亿美元的市场规模中,中国市场只有47亿美元,仅占5.2%。用5.2%的市场养活32%的数据库企业,这着实是一片红海。
如今最主流的关系数据库都是集中式的,尽管支撑了当今整个信息社会,但集中式数据库所能承载的访问量是有限的,如果面对海量爆发式增长的数据,很容易冲破天花板。
于是,一场由集中式向分布式转型的数据库变革发生了。驱动这场业务变革的,是中国互联网电商的崛起。
2009年“双11”开始举办,电商发力,每年成交额呈指数级增长,支撑用户抢购的交易系统也面临越来越严峻的压力。不仅需要应对流量峰值、保障系统的平稳运行,更要在降本增效的同时,更好地服务业务发展,支付宝原本的集中式数据库系统已不足以应对,自研一款弹性伸缩、高可用的数据库迫在眉睫。
据美国高德纳咨询公司(Gartner)预测,2024年,全球数据库市场规模突破千亿美元,而分布式数据库将是最主要的市场增量。
在分布式数据库这个领域,以OceanBase为代表的国产数据库,凭借100%自研的技术精神,在中国场景推动下,建立分布式数据库的新标准,即性能新标准、容灾新标准、高可用新标准和架构新标准。
性能新标准,OceanBase刷新了TPC-C、TPC-H性能榜,3次打破世界纪录,实现了一份数据同时支持事务处理与实时分析,降低业务复杂性。TPC-C、TPC-H是全球公认的数据库权威评测榜,被誉为“数据库领域的世界杯”。过去数十年,TPC-C一直是海外传统数据库厂商竞技的舞台,而OceanBase在TPC-C基准测试中创造了新的世界纪录。在第二次参加该测试时,最终成绩达到了7.07亿tpmC,比前一年的记录提高了11.6倍。在权威机构国际事务处理性能委员会发布的最新测试结果中,OceanBase在数据库TPC-C基准测试中位列第一,打破了由Oracle保持了9年的记录,造就了新的世界纪录。
容灾新标准,OceanBase打造了三地五中心容灾,建立首个城市级故障自动无损容灾架构,满足国标金融6级容灾标准,保障城市级业务持续高可用,能做到任意机房/城市级故障1分钟内自动恢复,零数据丢失。
高可用新标准,业内首个实现RPO=0、RTO<8s,避免代价高昂的故障损失和数据丢失问题。数据库如果出故障,通常会涉及到两个指标,一个是RTO(故障恢复所花费的时间),一个是RPO(数据恢复后对应的时间点)。在RTO方面,OceanBase能做到小于8秒,这是目前最好的指标,能够实现苛刻条件下的业务连续性,避免代价高昂的复杂故障及数据丢失问题。
架构新标准,OceanBase首创单机分布式一体化的数据库架构,可以满足企业在不同阶段的需求,数据少时,用OceanBase一台机器就够了,随着数据多起来,无缝切换到多台机器(分布式),这样就减轻了企业在业务发展过程中,换数据库的麻烦,一个数据库可以用到底。
据了解,OceanBase是登上TPC-C排行榜前列、由中国公司完全自主研发的第一款大型数据库产品。这背后是一群人近十年的不懈努力,充分证明了国产数据库技术的崛起和国内工程师的实力。
在产业实践方面,OceanBase坚持自研,持续突破分布式数据库技术和产品性能。去年发布的OceanBase4.0实现了单机一体式架构,适应从个人小站点到银行核心系统、巨型电商网站等不同规模、不同发展阶段的企业需求。
正如OceanBase这个名字的寓意一样:从一开始就立志做一个像海洋一样的海量数据库,征途就是星辰大海。OceanBase的实践证明,通用的分布式数据库早已真正应用在各行业的生产系统中。
国产数据库百花齐放:自主创新,中国特色
国产数据库OceanBase在TPC-C榜单上的突破,标志着国产数据库核心能力的快速发展和日趋成熟,说明中国企业技术自主创新的其中一条可行路径:中国特有的市场需求与中国技术研发的相互作用产生的化学反应。
这一突破的实现离不开国内数据库领域人才的高度聚集,也彰显了中国在基础软件领域长期投入和积累的结果。
咨询机构IDC观察,在中国市场,中国整个关系型数据库市场,国产数据库份额迅速攀升。这也意味着在数据库领域,国产自研已经进入市场的快车道。
云原生、分布式成了这一波中国数据库软件创新的关键字。
以OceanBase为例,这款产品曾两次在TPC-C测试中打破世界纪录,在墨天轮中国数据库流行排行榜上,连续12个月排名第一。
国际主流的数据库厂商有甲骨文、微软、IBM、MongoDB、亚马逊、谷歌等,国际厂商凭借其先发优势在国内市场中占据了近六成的市场份额。从2000年前后,中国陆续出现商业数据库厂商。其中,达梦、人大金仓、神州通用、南大通用一起,形成独立数据库厂商“四小龙”;蚂蚁的OceanBase、阿里的PolarDB、腾讯的TDSQL、华为的GaussDB,则形成了新一代数据库的代表。
值得关注的是,这些龙头企业数据库的国产化替代,都是作为自身数字化转型中,系统架构和业务应用改造的关键组成部分来推进的。
与国外相比,中国数据库行业的起步要晚了20多年,但现在可能是发展势头最旺盛的时候。在技术端,第三代带来了弯道超车的机会。举例来说,银行选择国产数据库的原因之一,是技术层面的分布式改造。分布式也是阿里、腾讯、华为等新兴数据库的优势所在。
实际上,今天的国产数据库已经在国内市场占有一席之地。IDC发布的《2022年下半年中国关系型数据库软件市场跟踪报告》显示,前八强中有5家都是中国厂商,合计占据超过74%的市场份额。
创新技术生态是一个多维度概念,这其中也包括了国家产业政策的支持指引。据香港《南华早报》网站报道,中国发布了一项计划,呼吁加快发展5G、物联网、数据中心和超级计算机技术,期待这些新引擎引领未来数字增长。
OceanBase的突破,是国产数据库核心能力的快速发展和日趋成熟的缩影之一,是国内基础软件坚持长期投入的结果,也是走向科技自立自强的关键一步。