欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

数据库横向对比与前沿技术分析探讨

时间:2022-10-10 18:20:38 | 浏览:340

作者丨教授老边 云计算、大数据、高性能存储与计算系统架构专家1 何需数据库?互联网和移动互联网络的快速发展带来了数据产生速率的极大增长,每时每刻都有数以十亿量级的设备在生产出巨大体量的数据。从数据产生的渠道来看,主要分为两类,一类是人类活动

作者丨教授老边

云计算、大数据、高性能存储与计算系统架构专家

1 何需数据库?

互联网和移动互联网络的快速发展带来了数据产生速率的极大增长,每时每刻都有数以十亿量级的设备在生产出巨大体量的数据。

从数据产生的渠道来看,主要分为两类,一类是人类活动生成的数据,诸如我们日常的网页浏览、收集等移动设备的使用;另一类是机器产生的数据,如生产线设备、物联网设备、传感器、无线网络等。

从数据生成的速度来看,据国际数据公司IDC的监测数据显示,2013年,全球大数据库储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘);2014年是6.6ZB;2015年是8.6ZB;2018年是33.0ZB……预计在 2030 年,将会有超过千亿量级的联网传感设备产生出巨大体量的数据。

图1:2016年至2020年全球每年产生的数据量(单位:ZB,%)

面对每天产生的海量数据,人们怎么能够做到又快又好地找到并调用呢?于是,数据库就是被创造出来帮助人们快速提取数据价值的利器。当然,还有其它类似的概念和工具,诸如数据仓库、数据集市、数据湖泊等,旨在解决我们日常所面对的数据存储、数据转换、数据分析、BI商务智能等一系列工作。

2 数据库的进化路径

现代商业社会对数据库性能方面的要求推动了数据处理基础架构与技术的发展。下图展示了以数据库为中心的数据处理基础架构和技术的进化路径:从关系型数据到大数据,从大数据到快数据,从快数据到深数据 ,从深数据到图数据。

  • 1980-2010年间的关系型数据库主导的阶段;

  • 2010-2020年间的大数据(NoSQL、数仓、数湖、大数据框架)主导的大数据时代;

  • 2020-2030年则可以预见的是图计算(图数据库)的时代。

图2:数据处理基础架构与技术的进化路线

数据库的进化是由商业需求所驱动的,当企业IT信息化已经基本完成后,再向前就是数字化转型与全面智能化(数智化)。

但是,SQL/RDBMS已经是有40年历史的老旧的技术框架了,即便是变身为数仓、数湖、NoSQL、NewSQL还是流批一体化框架,本质上依然是在用二维表的模式在对真实世界的业务场景进行数据建模,依然会在处理海量、动态数据、复杂、深度查询时出现严重的性能问题,依然会受到SQL关系型建模与查询僵化与浅层缺陷的限制。

我们认为智能化时代的核心技术一定是可以进行高维数据建模,处理高维数据关联关系的图数据库(图计算与存储引擎),而低维的SQL类型的数据库注定会逐步消亡。

这一结论从数据库的全球国际标准只有SQL(结构化查询语言)与GQL(图查询语言)两大标准即可看出,前者自1983年至今已经历经40年沧桑,而后者将会在2023年推出首个国际版标准。

举个具体的例子,在银行业中的各种指标计算与归因分析,会涉及全行明细级数据、分行、条线、客群、客户经理、集团、供应链、指标子项、客户账户信息等多个维度的综合计算。

用 SQL 和关系型数据库来计算的复杂度是个天文数字(多表关联会导致“笛卡尔积”现象,计算复杂度指数级增加,进而时耗巨大,导致无法在有限资源与时间内完成计算);而用图计算来建模和实现,是加和而非乘积的关系,计算复杂度指数级降低——与RDBMS相比有着指数级的性能优势。

换言之,用 SQL 来实现,会耗费大量的计算、存储资源,并且效率非常低下,任何复杂一点的指标计量或归因分析都无法完成,但用图计算来实现,可以做到实时,并且耗费较少的硬件资源——更低的 TCO,更高的 ROI,这也是图数据库的颠覆性优势之一——高性能、高性价比(以及灵活性与白盒化)。

图3:关系型数据库(数仓、数湖) 中多表连接导致的笛卡尔积问题

知名信息咨询公司Gartner在2019-2021年间关于数据与分析科技(Data & Analytics Technology Trends)的几份报告中,明确地提出了图分析(Graph Analytics)作为十大核心科技发展趋势之一,且其所代表的细分市场会以年复合增长率100%的速度持续增长,预计到2025年,80%的商务智能、商业决策(BI)的创新会通过图分析与计算(即图数据库系统)来实现。

图4:Garther报告

3 进入”图“时代

很多我们熟知的科技公司,诸如脸书(Facebook)、Google、推特(Twitter)、领英(Linkedln)等国际巨头科技公司,其起家的秘密正是源于图技术,还有一些金融服务公司,例如高盛(Goldman Sachs)、美国银行(Bank of America)、BlackRock(黑石)、贝宝(Paypal)等的核心技术产品正是构建在图计算与图数据库框架之上。

究其根本是因为图的核心竞争力更有利于助力企业进行数组资产管理、数据治理、数据分析,并实现真正意义的数据智能——图技术能以更高效、深度、准确、白盒化的方式揭示出数据的内部关联。

图数据库在传统意义上被归类为NoSQL数据库的一种(尽管这并不准确,如果从数据库标准的维度看,过去40年数据的发展只有2套标准,一套是SQL,另一套是GQL,即图查询语言,仅此一条就可以佐证图数据库会成为未来的主流数据库,而SQL终将消亡。图数据库终将独立成团,这是后话。)

其它的非关系型数据库在广义上还包含例如列数据库、宽表数据库、键值库(因其架构与接口简单,严格意义上并不算完整的数据库)、文档数据库、时序数据库等。NoSQL 数据库一般而言被分为以下几大类,每一类都有其各自的特性:

• 键值(Key-Value) : 性能和简易性

• 宽列(Wide-Column):体量

• 文档(Document):数据多样性

• 时序(Time Series):IOT 数据、时序优先性能

• 图(Graph) : 高维建模+深数据+快数据

图5:NOSQL类数据库存储结构的进化

在众多 NoSQL 类数据库中,最好的用来诠释数据建模灵活性——无模式(Schema-Free 或 Demi-Schema)的例子就是图数据库——除了点和边这两种基础数据结构以外,图数据库不需要任何预先定义的模式或表结构。

这种极度简化的理念恰恰和人类如何思考以及存储信息有着很大的相似性——人们通常并不在脑海中设定二维的、僵化的表结构, 因为人脑是可以通过对实体与关系构建的高维、动态的数据模型中“随机应变”(触类旁通、举一反三、关联、发散、聚合、下钻)的。

图6:关系网络图谱(局部)

上图展示的是一个典型的关系图谱(网络图),其是在一张大图上进行实时路径查询时所动态生成的一张子图。绿色的节点为初始顶点,紫色的节点为终止顶点,两者间有15层(跳)间隔,并有上100条关联路径,每条路径上有不同类型的边连接着相邻的两两的顶点,其中不同类型(属性)的边以不同的色彩来渲染,以表达不同类型的关联关系。

最近 10 几年以来,全球 IT 市场上涌现出了 10 几家图数据库服务商,从传统的、非常学术化的 RDF(资源定义框架)模式图, 到基于原生图理念构建的LPG(标签属性图) 或 PG(属性图) 图数据库,还有那些在传统 SQL 数据库上或 NoSQL 数据库上搭建的各种非原生图。

目前业界图数据库的架构分为三类:

  • 第一类是基于传统关系型数据库的图计算,代表产品诸如 Cosmos DB、Oracle PGX等;

  • 第二类是基于 Hadoop/Spark 或 NoSQL 存储引擎的图数据库, 代表产品诸如星环、创邻、JanusGraph、Nebula等;

  • 第三类则是原生图数据库流派,例如Neo4j、TigerGraph、Ultipa,它们区别于前两类的地方在于计算与存储的原生性(Native Graph)。

从严格意义的图数据库产品性能进化的角度来看,作为前沿科技的图计算、图数据库技术在近十年亦历经了四代演进:

  • 第一代是诸如基于非原生图架构的JanusGraph(其存储引擎基于第三方NoSQL构建,性能瓶颈明显,时效性差);

  • 第二代的代表玩家是最早的原生图数据库Neo4j(缺点在于基于Java架构,性能瓶颈明显,难以在大规模、复杂、实时性场景中得到推广);

  • 第三代是并行图数据库TigerGraph(主要挑战在于使用门槛高,面向数据科学家,二次开发困难,且基于“单边图”理念构建,图建模不灵活);

  • 最新一代就是第四代图数据库,代表玩家如Ultipa Graph——具备高密度并发、 融合HTAP+MPP架构、建模灵活的实时图数据库了。

图7:图数据库的优势、架构类型以及产品进化

图数据库的发展要解决的并不是数仓、湖仓系统所鼓吹的无限的数据存储,而是要解决复杂查询、深度查询的计算时效性的问题!

因此,高性能的图数据库一定是有限解决算力的问题,即具备高算力,让计算引擎成为一等公民(注:在传统的RDBMS数据库中,计算是附着于存储的二等公民,试想每次查询都需要大量访问硬盘读取数据的查询,效率必然是极低的!)。

图数据库赋能的业务场景也必然和传统数据库、大数据框架有所不同,无论是风控反欺诈、智能营销与推荐,还是实时决策、智能分析(Smart BI/Analytics)、数据治理等场景。

相关资讯

数据库:什么是数据库,数据库管理系统,数据库系统,数据库管理员?

数据库 : 数据库(DataBase 简称 DB)就是信息的集合或者说数据库是由数据库管理系统管理的数据的集合。数据库管理系统 : 数据库管理系统(Database Management System 简称 DBMS)是一种操纵和管理数据库

数据库超详细讲解,MySQL数据库的简介、及常用数据库介绍

数据库简介数据库:顾名思义,就是数据的仓库,它是长期存储在计算机内,有组织的、可共享的数据的集合。数据库管理系统(DBMS: 用来对数据进行存储、管理等操作的软件)数据库分类数据库通常分为:层次式数据库、网络式数据库和关系式数据库三种。而不

数据库技术新版图-Serverless数据库

数据库的发展已走过近四十年,作为基础软件之一,数据库称得上是一个“古老”的领域。而随着新技术的涌现,这个传统的领域也正不断焕发出新的生机。如果说云时代的到来推动了数据库的变革,那么,与 Serverless 的结合,则再次为数据库的发展添了

什么是数据库DataBase?数据库和数据记录的概念简单讲解

大家好,在讲数据库之前,我用了很长的时间,和大家分享了很多VBA方面的一些知识点,其中很多是我个人对VBA的理解。从这讲开始我们要在原先的基础上深入的讲解一些VBA的提高利用,就是我们要开始讲解的数据库。在《VBA与数据库利用》中我会讲解到

数据库看这一篇就够了!MySQL、Redis、Mongodb等常见数据库教程

数据库是系统健康和用户行为健康的重要指标。数据库中的异常行为可能会引起应用程序中的问题。或者当应用程序中存在异常时,都可以使用数据库指标来帮助加快调试过程。先来认识下市面上常用的数据库:关系型数据库1. MySQL数据库2. Microso

为什么要使用数据库,什么是数据库

1、为什么要使用数据库持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用。持久化的大多数时候是将内存中的数据存储在数据库中,当然也可以存储在磁盘文件、XML数据文件中。方便管理数据(例如:快速的检索等)2、什么是数

重塑数据库发展路径业界聚焦我国数据库产业发展

人民网北京12月27日电 (记者乔雪峰)近日发布的《软件和信息技术服务业十四五规划》中,明确提出我国“十四五”时期要加快实施国家软件发展战略,不断提升软件产业创新活力,聚力攻坚基础软件,有效满足多层次、多样化市场需求,为构建以国内大循环为主

常见的数据库类型及各种数据库特点的简单介绍

大家好,在上一讲中,讲了数据库的概念及表的概念,通过上讲的内容,我们大概了解了一些数据库的基本知识。其实,在我的日常生产中,数据库和我们也是息息相关的,当我们打电话、上网、去银行交易等等,都要访问不同的数据库,这些数据库各有自己的特点,但都

数据库篇-第一章:数据库基本概念

基础知识学习,面试必备,关注吧 骚年01 第一,什么是数据库?维基百科上是这样定义的:所谓“数据库”是以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。一个数据库由多个表空间(Tablespace)

C++基础语法梳理:数据库!带你深入浅出了解数据库

基本概念数据(data):描述事物的符号记录称为数据。数据库(DataBase,DB):是长期存储在计算机内、有组织的、可共享的大量数据的集合,具有永久存储、有组织、可共享三个基本特点。数据库管理系统(DataBase Management

数据库指南:一文让你浅显易懂地了解数据库

在数据分析的技能中,数据库与SQL会是性价比最高的技能之一。数据库是逻辑上的概念,它是一堆互相关联的数据,放在物理实体上,是一堆写在磁盘上的文件,文件中有数据。这些最基础的数据组成了表(table),我们把它想象成一张Excel的sheet

什么是数据库?用最简单的方法讲明白数据库

数据库基本概念数据库是一个以某种有组织的方式存储的数据集合。数据库(database)是保存有组织的数据的容器。数据库管理系统(DBMS)是一种数据库软件,MySQL是一种DBMS,即它是一种数据库软件,作者使用的数据库管理系统是MySQL

一文读懂Access数据库,从此不用Access数据库

1992年11月,Microsoft Access 1.0版本发布。同时,这也是Access数据库,第一次进入大家的视野。起初,Access的原名并不叫Access,而叫Cirrus。Ciruus开发于Visual Basic之前,当时的窗

闲聊数据库发展历史三个阶段、分类、数据库规范及趋势

概述数据库(Database)是存储与管理数据的软件系统,就像一个存入数据的物流仓库。在商业领域,信息就意味着商机,取得信息的一个非常重要的途径就是对数据进行分析处理,这就催生了各种专业的数据管理软件,数据库就是其中的一种。当然,数据库管理

数据库行业研究报告:数据库,云化底座,百舸争流

(报告出品方/作者:中信证券,杨泽原、丁奇)报告综述:安全可控势在必行,数据库国产替代加速开展,以党政为代表的国产替代先行,并不断向金融、电信等领域拓展。同时,伴随云计算、大数据技术的快速发展, 云数据库、数据仓库、大数据分析等领域快速增长

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈发型设计大全海外移民资讯网澳洲进口奶粉代购伟明环保A股爱马仕奢侈品星巴克咖啡会员日小米手机股票上海房产信息网虎牙直播资讯网南充新闻头条网国际车展网上饶新闻资讯网金线莲种植网防溺水安全知识网昆明旅游网
MYSQL数据库应用网-mysql数据库基础知识、Mysql还原数据库、mysql数据库迁移方案、mysql数据库增删改查、mysql数据备份和恢复、mysql数据迁移工具、mysql数据库迁移详细步骤、mysql数据库存储目录迁移、mysql数据库不停机迁移方法、mysql数据备份和恢复、免费mysql服务器、mysql官网免费版安装教程。
MySQL数据库应用 nincu.cn ©2022-2028版权所有