欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

国产数据库年终大盘点

时间:2022-10-10 18:12:08 | 浏览:398

作者 | 马超 编辑 | 胡巍巍出品 | CSDN(ID:CSDNnews)去“IOE”这个概念,最早由王坚院士在刚刚加入阿里时提出,其目标是将IBM 的小型机、Oracle数据库、EMC存储设备从阿里的IT体系中去除,代之以自主研发的系统

作者 | 马超

编辑 | 胡巍巍

出品 | CSDN(ID:CSDNnews)

去“IOE”这个概念,最早由王坚院士在刚刚加入阿里时提出,其目标是将IBM 的小型机、Oracle数据库、EMC存储设备从阿里的IT体系中去除,代之以自主研发的系统。

而随着我国IT技术栈的不断演进,去“IOE”已经由一个企业的目标,变成了整个行业的目标,也就是我国必须使信息系统数据,运行在自研系统之上,以防止数据丢失造成的一系列严重后果。

作为一名长期在金融机构工作的IT人,提起对外核心技术依赖时,就不由得想起银行业的心脏——支付系统(CNAPS),原本都是世界银行的援建产物,直到2013年底我们才用自研的二代支付系统将其取代。

回想“IOE”这些年,我国的确在一些很多IT领域取得了长足的进步,比如目前我国移动支付水平就实现了对欧美国家的反超,足以独步世界。

近日,金山办公正式登陆科创版,也标志着雷军梦圆国产Office的“英雄之路”。可以看到这种应用级别的自主掌控,对于我国IT业来说已不是难事。

而且随着国产云计算服务水平的不断发展,国外厂商的小型机和存储,已经不多见,不过IOE中的O也就是Oracle、DB2等国外厂商的数据库,还依旧在我国市场大行其道。

这也反映出,近年来我国IT的一个现象,那就是硬件集成与应用等领域强,但是基础设施突破少。

虽然国产数据库,相比前几年大火的O2O、共享经济等概念,并没有获得资本的大力追捧,但是我们欣喜地看到,还是有很多IT人在坚持此道。接下来就带大家一起来盘点一下国产数据库的发展现状。

支付宝的核心:OceanBase

OceanBase 是蚂蚁金服自研的金融级分布式关系数据库,号称每一行代码都是自主编写的。

在十年前,阿里的IT人,决定自主研发一款分布式金融级数据库,历经磨练后OceanBase已经能在普通硬件上,实现金融级高可用,并在业内首创“三地五中心”城市级故障自动无损容灾新标准,同时具备在线水平扩展能力,并且勇夺TPC的冠军。

相关阅读:

☞OceanBase 的前世今生

☞揭秘 OceanBase 勇夺 TPC 榜首的王者攻略!

☞200 行代码解读国产数据库阿里 OceanBase 的速度源头!| CSDN 博文精选

深植于场景需求混布数据库:Hubble

Hubble是天云数据研发的HTAP数据库。所谓HTAP其实就是混合了TP和AP两种模式的数据库。

坦率讲,笔者在刚开始听到一种产品,既能提供TP服务、又能提供AP服务时,感到非常惊讶。

因为,OLAP(On-Line Analytical Processing)是指联机分析技术,打个比方,OLAP就像是私人飞机服务,不计较成本但是要求响应速度,主要用于用户联机交易的处理响应。

而OLTP(on-line transaction processing),则是指联机事务处理,OLTP的最大诉求就是低成本的处理海量数据,有点像海上运输,虽然处理数据量大但是速度慢,适合于客户历史帐单查询、客户画像分析等大数据方面的应用。

以前AP应用的流程比较固定,就像一个仪表盘,只有一两个数仓的管理员在看,但现在那些原本投在大屏的可视化项目,已经全部被推送到了移动端,这也就是TP+AP的个性化数字仓库的需求。

比如一个营业厅应用有六万多人,同时在线需要至少五百个并发/秒,理财经理要在某一时刻,看到大客户的结息、净值等一系列的数据服务,且都是个性化的。

这也就意味着,目前在应用领域,有强烈的需求把AP推到TP的场景里,这两者有机结合,对于大多数人来说,还只是个想法。

不过这两个看似矛盾的目标,竟然真的被天云数据,结合到一起了。其关键技术有以下几个方面:

一是在KV数据,再加一层KV索引、以适应高并发的TP需求。

二是通过将全局事务向本地事务锁进行转换,来保证系统的分布式计算一致性。

三是通过资源控制模块,完成TP与AP的结合使用。

SQL引擎与NoSQL存储的结合:巨杉数据库

SequoiaDB 巨杉数据库,是一款金融级分布式关系型数据库,也是一款开源产品(Github地址:https://github.com/SequoiaDB/SequoiaDB)。笔者认为SequoiaDB最大的贡献在于将标准SQL、事务与NoSQL的分布式存储相结合。

巨杉数据库使用JSON为标准存储格式,既可以描述关系型结构,能最大限度保留现有的应用资产;也可以描述非关系型结构。

这些使巨杉,可以把非结构化的文件和结构化的描述项一起存储,而不是索引+文件存储,从而实现适当降低范式维度和JOIN操作的复杂度。

而且,在分布式存储的基础上,其还添加了分布式SQL引擎,借此可以提供高并发、低延时和批量计算SQL能力以及ACID和事务支持。

其整体架构如下:

巨杉数据库在金融领域应用案例很多,相信他们SQL引擎与NoSQL存储的理念还会支撑他们越走越远。

产品线齐全的数据库:GBase和达梦

武汉达梦和天津南大通用,绝对算得上是国内数据库厂商中产品线最齐全的两家了。据笔者不完全统计,南大通用打造了GBase 8a、8t、8m、8s、8d、UP、InfiniData一体机等多款数据库软硬件产品,而达梦也不遑多让他们产品线包括了达梦7、8、ETL、TDD、HS、MPP等等。下面挑重点向大家介绍。

GBase 8a:就是我们日常所熟知的用于大数据分析的系统库。

GBase 8a能够实现大数据存储管理和高效分析,据测试,它能在PB级数据规模下,实现数据查询的秒级响应;实现千亿级文本条目全文检索的秒级响应;并且提供全过程可视化的数据查询分析及展现工具。

GBase 8t:一款对标Oracle的数据库。据称,其OLTP事务处理性能,已达到Oracle数据库的水平,能够在90%以上的场景中替代Oracle。

GBase 8t的关键技术有如下几方面:

一、事务机制

完全支持传统主流事务数据库的事务机制锁技术,有效支撑高度并发的事务密集型应用场景。

二、存储技术

GBase 8t产品的存储有物理的和逻辑的两种结构。物理结构中包含数据卷(Chunk)、数据段(Extent)和数据页(Page);逻辑结构包含数据空间(DbSpace)和表空间(TableSpace)。

三、索引技术

GBase 8t产品提供了索引技术来提升数据查询操作的性能。GBase 8t产品支持的索引包括B-Tree索引、R-Tree索引、函数索引和用户自定义索引。

四、高可用技术

GBase 8t产品提供了高可用集群技术,使用这些技术可以满足数据复制、共享存储、同城备份、远程容灾和两地三中心的整体灾备解决方案的要求。

当前,Gbase和达梦的产品均已经在金融、电信、电力等多个行业得到应用与验证了,使用场景非常广泛可谓我国国产数据库的双子星座了。

物联网时代的数据库TDengine、CTSDB

随着互联网的高速发展、大数据的迅速膨胀和物联网的飞速崛起,我们发现生活和工作中的大部分数据渐渐和时间产生了关联。

比如,微信运动的实时步数、股票每天的收盘价格、共享单车的设备状态等等。为了存储这些与时间相关的数据使用传统数据库其实问题很多。

比如,传统关系型数据库,在存储海量的时序数据场景下,存在的问题:

1.存储成本大:对于时序数据压缩不佳,需占用大量机器资源;

2.维护成本高:单机系统,需要在上层人工的分库分表,维护成本高;

3.写入吞吐低:单机写入吞吐低,很难满足时序数据千万级的写入压力;

而Hadoop等NoSQL数据库也有问题:

1.数据延迟高:离线批处理系统,数据从产生到可分析,耗时数小时、甚至天级;

2.查询性能差:不能很好的利用索引,依赖MapReduce任务,查询耗时一般在分钟级。

让你以在物联网时代需要与之特点相应的数据库产品来提供服务,目前我国在时序数据库方面主要有TDengine、CTSDB两款产品。

这里主要带大家了解一下腾讯时序数据库CTSDB:CTSDB(Cloud Time Series Database)是一种分布式、高性能、多分片、自均衡的时序数据库,针对时序数据的高并发写入、存在明显的冷热数据、IoT用户场景等做了大量优化,同时也支持各行业的日志解析和存储,其架构如下图所示。

在CTSDB和磁盘之间有一层FileSystem Cache的系统缓存,以使得能够更快地处理搜索请求。

作为腾讯唯一的时序数据库,CTSDB支撑了腾讯内部20多个核心业务(微信彩票、财付通、云监控、云数据库、云负载等)。

其中,云监控系统的记录了腾讯内部各种软硬件系统的实时状态,CTSDB承载了它所有的数据存储,在每秒千万级数据点的写入压力、每天20TB+数据量的写入场景下稳定运行,足以证明CTSDB可以稳定支撑物联网的海量数据场景。

互通有无,共同成长

除了上述这些数据库之外,我国还有不少基于MySQL、PosgreSQL等开源数据库内核研发的产品。

比如腾讯基于MySQL的TDSQL、华为基于PosgreSQL的GaussDB、中兴同样基于MySQL的GoldenDB,他们也都得到了相当广泛的应用.

尤其是承载着微众银行和威富通等多个重量级金融应用的TDSQL,凭借远超开源版MySQL的性能,真正做到了青出于蓝而胜于蓝。

可以说,我国自研数据库在各个方面,都已取得极大进步,这里也呼吁,国内数据库厂商能尽量将社区版本开源,与业界互通有无,共同成长。

(*本文为AI科技大本营转载文章,转载请联系原作者)

相关资讯

数据库:什么是数据库,数据库管理系统,数据库系统,数据库管理员?

数据库 : 数据库(DataBase 简称 DB)就是信息的集合或者说数据库是由数据库管理系统管理的数据的集合。数据库管理系统 : 数据库管理系统(Database Management System 简称 DBMS)是一种操纵和管理数据库

数据库超详细讲解,MySQL数据库的简介、及常用数据库介绍

数据库简介数据库:顾名思义,就是数据的仓库,它是长期存储在计算机内,有组织的、可共享的数据的集合。数据库管理系统(DBMS: 用来对数据进行存储、管理等操作的软件)数据库分类数据库通常分为:层次式数据库、网络式数据库和关系式数据库三种。而不

数据库行业深度报告:历史机遇,国产数据库市场迎来十倍空间

获取报告请登录未来智库www.vzkoo.com。一、数据库行业的基本情况(略)1.数据库的性能:六个方面,一套标准数据库的性能指标聚焦于 6 个方面:吞吐量、负载均衡、读写速度、分区分片、并发性和 可用性。不同类型的数据库由于使用场景的差

国产数据库年终大盘点

作者 | 马超 编辑 | 胡巍巍出品 | CSDN(ID:CSDNnews)去“IOE”这个概念,最早由王坚院士在刚刚加入阿里时提出,其目标是将IBM 的小型机、Oracle数据库、EMC存储设备从阿里的IT体系中去除,代之以自主研发的系统

什么是数据库DataBase?数据库和数据记录的概念简单讲解

大家好,在讲数据库之前,我用了很长的时间,和大家分享了很多VBA方面的一些知识点,其中很多是我个人对VBA的理解。从这讲开始我们要在原先的基础上深入的讲解一些VBA的提高利用,就是我们要开始讲解的数据库。在《VBA与数据库利用》中我会讲解到

数据库看这一篇就够了!MySQL、Redis、Mongodb等常见数据库教程

数据库是系统健康和用户行为健康的重要指标。数据库中的异常行为可能会引起应用程序中的问题。或者当应用程序中存在异常时,都可以使用数据库指标来帮助加快调试过程。先来认识下市面上常用的数据库:关系型数据库1. MySQL数据库2. Microso

为什么要使用数据库,什么是数据库

1、为什么要使用数据库持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用。持久化的大多数时候是将内存中的数据存储在数据库中,当然也可以存储在磁盘文件、XML数据文件中。方便管理数据(例如:快速的检索等)2、什么是数

重塑数据库发展路径业界聚焦我国数据库产业发展

人民网北京12月27日电 (记者乔雪峰)近日发布的《软件和信息技术服务业十四五规划》中,明确提出我国“十四五”时期要加快实施国家软件发展战略,不断提升软件产业创新活力,聚力攻坚基础软件,有效满足多层次、多样化市场需求,为构建以国内大循环为主

常见的数据库类型及各种数据库特点的简单介绍

大家好,在上一讲中,讲了数据库的概念及表的概念,通过上讲的内容,我们大概了解了一些数据库的基本知识。其实,在我的日常生产中,数据库和我们也是息息相关的,当我们打电话、上网、去银行交易等等,都要访问不同的数据库,这些数据库各有自己的特点,但都

数据库篇-第一章:数据库基本概念

基础知识学习,面试必备,关注吧 骚年01 第一,什么是数据库?维基百科上是这样定义的:所谓“数据库”是以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。一个数据库由多个表空间(Tablespace)

C++基础语法梳理:数据库!带你深入浅出了解数据库

基本概念数据(data):描述事物的符号记录称为数据。数据库(DataBase,DB):是长期存储在计算机内、有组织的、可共享的大量数据的集合,具有永久存储、有组织、可共享三个基本特点。数据库管理系统(DataBase Management

数据库指南:一文让你浅显易懂地了解数据库

在数据分析的技能中,数据库与SQL会是性价比最高的技能之一。数据库是逻辑上的概念,它是一堆互相关联的数据,放在物理实体上,是一堆写在磁盘上的文件,文件中有数据。这些最基础的数据组成了表(table),我们把它想象成一张Excel的sheet

数据库技术新版图-Serverless数据库

数据库的发展已走过近四十年,作为基础软件之一,数据库称得上是一个“古老”的领域。而随着新技术的涌现,这个传统的领域也正不断焕发出新的生机。如果说云时代的到来推动了数据库的变革,那么,与 Serverless 的结合,则再次为数据库的发展添了

什么是数据库?用最简单的方法讲明白数据库

数据库基本概念数据库是一个以某种有组织的方式存储的数据集合。数据库(database)是保存有组织的数据的容器。数据库管理系统(DBMS)是一种数据库软件,MySQL是一种DBMS,即它是一种数据库软件,作者使用的数据库管理系统是MySQL

一文读懂Access数据库,从此不用Access数据库

1992年11月,Microsoft Access 1.0版本发布。同时,这也是Access数据库,第一次进入大家的视野。起初,Access的原名并不叫Access,而叫Cirrus。Ciruus开发于Visual Basic之前,当时的窗

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈钓鱼场资讯网冲浪运动网宏宇瓷砖资讯网荣耀手机评测网飞盘运动俱乐部西班牙旅游网今日秦皇岛今日青岛餐饮点餐系统网陶瓷文化网马耳他旅游网昆明旅游网黄渤影迷网武当山旅游攻略品酒师资讯网
MYSQL数据库应用网-mysql数据库基础知识、Mysql还原数据库、mysql数据库迁移方案、mysql数据库增删改查、mysql数据备份和恢复、mysql数据迁移工具、mysql数据库迁移详细步骤、mysql数据库存储目录迁移、mysql数据库不停机迁移方法、mysql数据备份和恢复、免费mysql服务器、mysql官网免费版安装教程。
MySQL数据库应用 nincu.cn ©2022-2028版权所有