曾在国内外5家大厂做数据库工程师,这是他给出的5大趋势预测

时间:2022-10-09 14:44:23 | 浏览:3686

Pine 编译自 凹非寺量子位 | 公众号 QbitAI出门要健康码,买东西用支付码……什么都可以变成数据,近来被追捧的元宇宙甚至告诉我们连人都可以变成数据。我们貌似已经习惯了与数据相依存的生活,但在未来,数据会发展成什么样子,你有想过吗?

Pine 编译自 凹非寺量子位 | 公众号 QbitAI

出门要健康码,买东西用支付码……

什么都可以变成数据,近来被追捧的元宇宙甚至告诉我们连人都可以变成数据。

我们貌似已经习惯了与数据相依存的生活,但在未来,数据会发展成什么样子,你有想过吗?

有30多项机器学习和数据云专利的大佬Luhui Hu发了一篇博客。

他梳理了数据库的发展以及现状,或许从中我们可以洞见数据未来的模样。

一起来看看吧~

数据的探索

首先,简单了解下数据库。

一言以蔽之,就是能够存储并管理庞杂的数据。

在过去的30年中,作为编程语言、操作系统中必不可少的技术,数据库的数量在呈指数级增长,已经诞生出数百种不同的数据库。

典型如SQL到NoSQL和NewSQL。

这些数据库主要进行两项工作:

在线事务处理(OnLine Transactional Processing 简称:OLTP)

在线分析处理(OnLine Analytical Processing 简称:OLAP)

早在20世纪60年代早期,Charles Bachman就开发了第一个数据库。

起初对于数据库的探索主要集中在数据库查询和它的模型上,包括SQL(结构化查询语言)、XML(可扩展标记语言)和面向对象。

众多数据库在经过10多年的竞争之后,Oracle、SQL Server和MySQL三个脱颖而出。

它们凭借结构化查询语言和遵循ACID(原子性、一致性、隔离性、持久性,在出现故障的情况下也可以保证数据的有效性),几乎主导了商业市场和开源社区。

然而,数据的种类、速度以及数据量在不断增长,这对数据库提出了更高的要求,这时出现了一种新的数据库:NoSQL。

不同于传统的数据库,NoSQL允许部分数据使用SQL系统存储,而其他数据则使用NOSQL系统存储。

除此之外,NoSQL还首次提出了性能效率、模式灵活性和一些新的功能,并且还拥有键值存储、文档数据库、面向列的数据库、图形数据库等。

但由于NoSQL数据库在遵守CAP定理(不能同时满足一致性、可用性、分区容错性)时更注重可用性而非一致性,导致许多数据库为了实现最终一致性或非规范化而做出妥协和优化。

这也恰恰说明了数据库要与时俱进,契合当前数据的特点以及人们的需求。

就比如说NewSQL,它是一类现代的关系数据库,为OLTP工作提供了与NoSQL相同的可扩展性能,同时仍然使用SQL并维护传统数据库的ACID保证。

在数据库的发展过程中,还有一个不得不提的东西:数据仓库。

它是用于数据分析和业务洞察的核心组件,但在10年前大数据平台出现之后,人们从传统的数据仓库转移到大数据平台,它就黯然失色了。

直到云技术的出现,重新赋予给数据仓库新的性能,使它具备了可扩展性,数据仓库这才再次被人们注意到。

随着高性能、高可扩展性数据云的出现,一个新的数据平台生态系统——现代数据堆栈应运而生。

云技术通过云托管(半托管甚至完全托管)和云原生两种方式使得数据库自动化或半自动化。

在这其中,云技术具体是怎么操作的呢?

它主要是通过解耦数据库的存储和计算,重新定义体系结构。

并且存储或计算还可以独立扩展,提高数据库的效率、性能和灵活性等。

除此之外,这种解耦架构还能为数据库系统合并不同类型的存储和计算,以实现总体的高性能和新功能。

目前,云技术正在逐步应用到数据库中。

S3(Simple Storage Service 简单存储服务)因为自身的简单性、低成本、高可用性、可扩展性等,已经成为云计算的基础。

而且,它还演变成了数据湖,可以用来存储、处理和保护大量结构化、半结构化和非结构化数据。

现代数据库

讲了这么多数据库的发展,说回到现代数据库。

提到现代数据库,就不得不了解下面两种架构。

首先是Data Lakehouse,它相当于是数据仓库和数据湖的结合,可以看作是在对象存储上运行快速的SQL。

它同时具备了数据仓库的性能和数据湖的灵活性,能够消除数据孤岛(数据之间无法互通)和ETL(抽取-转置-加载)过程,从而使得数据的性能、灵活性和成本效益都得到提升。

除此之外,它还统一了所有的数据,简化了数据工程过程,并支持BI(商业智能)和AI工作负载在一起。

了解完Data Lakehouse,再来说说混合事务/分析处理 (HTAP)

它是一种新兴的应用程序架构,为热门的现代数据库提供了动力。

比如说谷歌发布的HTAP数据库产品AlloyDB,具有卓越的性能、可扩展能力和可用性,并且在高并发的OLTP环境中,可以快速响应用户的复杂操作。

而Snowflake(数据云公司)紧随其后,发布了Unistore,同样也支持HTAP,可以在单一平台上同时处理交易和分析数据。

进一步来说,和Lakehouse一样,HTAP的目标也是消除从OLTP到OLAP或从数据湖到数据仓库的ETL过程。

并且,当前的HTAP是支持OLTP和OLAP工作负载的单一系统体系结构,而早期的数据库只能配置为OLAP或OLTP(不能同时使用)

未来走向

数据对于现在的生活的确至关重要,我们也能从现在数据库的发展状况窥见些许未来数据的走向。

大致总结了五大方向。

统一BI和AI

首先,数据库在未来可能会统一BI和AI。

总的来说,未来数据库的目标应该是解锁所有数据的业务价值,并支持BI和AI的整个数据景观,包括从描述到诊断、预测和规范等数据分析操作。

统一BI和AI不仅可以消除数据仓库和ETL,还可以简化管道,提高利益相关者的生产力。Data Lakehouse可以被视作是一个巨大的飞跃,但是目前还只是处于起步阶段。

除此之外,在从数据到商业价值的过程中,也会激发多种的岗位需求: 数据工程师、数据分析师、数据科学家、机器学习工程师等。

专用网格

其二,未来的数据库可以通过构建专用的网络来满足多样化需求。

就目前来看,数据库技术融合已经成为一种趋势,如NewSQL、Lakehouse和HTAP。

但NewSQL、Lakehouse仍然是OLTP或OLAP的一种类型,CAP定理仍然成立。

并且当前的HTAP解决方案主要是OLTP,只适合小型工作负载。目前市场上可用的HTAP还远不能作为大型企业数据仓库或数据非结构化数据。

因此,专门构建的数据库很有必要,它可以更好地满足不同的业务目标,包括性能、可伸缩性或者/和特定的用例(例如,时间序列数据、图表、搜索等)

而且还可以分离开具有收敛层的数据库,用于互连、统一的数据服务和一致的治理。

多云策略

前面已经提到过云技术与数据库的结合,这在未来也是一大发展趋势,比如说多云策略。

多云策略是指在不移动数据的情况下将公共云和私有云联合起来。

它可以提高与多个云供应商的服务可用性,通过近距离计算减少延迟,从特定的云生态系统启用独特的功能,通过更多的云产品扩展全球可用性,并增强数据遵从性。

并且,多云策略还可以推动数据可观测性、数据编目、数据共享和数据编排的浪潮。

智能数据

数据与人工智能也有结合的潜力。

目前,有三个领域的人工智能和数据相互启用:AI for Data,AI for Database和Data for AI。

智能数据是AI for Data,它可以使数据具有数据治理、数据谱系、元数据、语义以及来自分析和人工智能的新数据等方面的要素。

预计到2025年,所有数据的10%将由生成型人工智能模型产生。这些数据包括声音、视频、图像、文本、结构化数据、代码等。

数据资产

数据库除了有上述的发展趋势外,还可以用作资产管理。

数据资产是将数据作为数据库或组织或个人存储器中的数字资产进行管理。

这样的数据库不仅是一个数据管理系统,而且还提供了数据可观测性、安全和隐私、定价、数据生命周期管理等。

未来数据库的发展走向肯定不止于此,你觉得它还有哪些新颖的潜力,欢迎在评论区留言~

参考链接:
https://towardsdatascience.com/newsql-lakehouse-htap-and-the-future-of-data-69d427c533
e0

— 完 —

量子位 QbitAI · 头条号签

关注我们,第一时间获知前沿科技动态约

相关资讯

核心数据倒数第一,当阳距全国百强县还有多远?

以上两张图片,是笔者从微信群看到宜昌市各区县1至7月的部分经济指标,同时,这两项数据也是笔者最关心的经济指标。对于三四线城市来说,工业是经济发展的重要组成部分,可以说是经济发展的基础。而现在的增加值,离不开过去一定时期内的投入。如果说,工业

南乐县:数据多“跑路”群众少“跑腿”

“我们的税务业务都可以在一个窗口集中办理,综合去受理,办事效率也特别高。“11月19日,在南乐县大数据中心,办事群众王晓辉高兴地给办税人员竖起大拇指,”我们有一些不懂的、不会的,他们都会积极去引导,我觉得他们特别棒。“(图文/王峥 佳鑫)南

睢阳区政务服务和大数据管理局深化“放管服”改革优化便民利企新环境

来源:商丘日报-商丘网群众在睢阳区政务服务中心办理业务。记者 邵群峰 摄10月15日,市民刘西丹来到商丘市行政服务中心睢阳区市场监管局窗口,办理公司注册登记。在窗口工作人员的热情接待和帮助下,仅用4个小时,刘西丹就在线领取了电子营业执照和一

探索图数据库商业化新路,TigerGraph凭什么拿下大公司?

图片来源@视觉中国一周前,诺贝尔物理学奖结果公布,值得注意的,获奖的三位科学家有一个共同点就是在复杂物理系统上做出了开创性贡献。其中真锅秀郎和克劳斯·哈塞尔曼的研究对象是地球气候以及人类如何影响地球气候,乔治·帕里西研究的则是无序材料和随机

物流常识(二):基础数据篇

本文深剖物流行业基本面数据,主要大纲如下:行业篇:行业基本面数据司机篇:司机数据与基础画像市场分析篇:城际&同城市场分析01 行业篇2019年中国物流市场结构(万亿元)中国2019年国内生产总值(GDP)为90万亿元,其中物流总费用13.2

纳思达2021年上半年预计净利4亿-5亿增长11%-39%芯片出货量增长趋势良好

挖贝网7月6日,纳思达(002180)近日发布2021年半年度业绩预告,预计业绩同向上升。报告期内归属于上市公司股东的净利润40,000万元–50,000万元,比上年同期增长11.45%-39.31%;基本每股收益0.3722元/股–0.4

我国近视低龄化趋势如何遏制?

新华社广州6月6日电(记者马晓澄 徐弘毅)6月6日是第27个“全国爱眼日”。专家建议,确保对儿童近视早发现早干预,提升家长和学生近视防控意识,制定近视诊断和防控标准。近视低龄化问题不容小觑中山大学中山眼科中心屈光与青少年近视防控专科教授杨晓

近视低龄化趋势明显?家长们不要错过这个关键时期

眼睛是我们身体的重要组成部分。近年来,我国近视人群呈快速增长趋势,青少年更是近视的主要人群。如今,随便走进一间教室,戴眼镜的孩子可达半数甚至更多。为什么会出现这种现象?有什么办法可以预防?近视是如何发生的?近视的发生和发展主要包括以下因素:

超半数儿童青少年近视,我国近视低龄化趋势如何遏制?

新华社广州6月6日电(记者马晓澄、徐弘毅)6月6日是第27个“全国爱眼日”。专家建议,确保对儿童近视早发现早干预,提升家长和学生近视防控意识,制定近视诊断和防控标准。6月6日是全国爱眼日,各地加强爱眼日活动宣传,普及眼健康科学知识,增强群众

超半数儿童青少年近视近视低龄化趋势如何遏制?

新华社广州6月6日电(记者马晓澄、徐弘毅)6月6日是第27个“全国爱眼日”。专家建议,确保对儿童近视早发现早干预,提升家长和学生近视防控意识,制定近视诊断和防控标准。6月6日是全国爱眼日,各地加强爱眼日活动宣传,普及眼健康科学知识,增强群众

友情链接

SEO域名抢注宝宝起名网妈妈知道币圈白银期货行情网天天基金行情网麦积山旅游攻略迪卡侬球拍消毒碗柜资讯网崀山景区资讯网挪威旅游网成都美食网八泉峡旅游攻略女宝宝取名字抚州新闻头条网今日铜川红水河第一湾资讯网海螺水泥股票海南椰子种植网
MYSQL数据库应用网-mysql数据库基础知识、Mysql还原数据库、mysql数据库迁移方案、mysql数据库增删改查、mysql数据备份和恢复、mysql数据迁移工具、mysql数据库迁移详细步骤、mysql数据库存储目录迁移、mysql数据库不停机迁移方法、mysql数据备份和恢复、免费mysql服务器、mysql官网免费版安装教程。
MySQL数据库应用 nincu.cn ©2022-2028版权所有