2000行代码,带你写一个自己的SQL数据库

时间:2022-10-10 18:22:25 | 浏览:548

在 C 被当做“高级语言”,雷布斯和小马哥还在写代码的年代,数据库还不是一个成熟的事物。和很多技术从简单到复杂的发展历程不太一样,数据库首先成熟并被大规模使用的是 RDBMS(关系型数据管理系统),后来才逐渐兴起了实现相对简单,以 Redi

在 C 被当做“高级语言”,雷布斯和小马哥还在写代码的年代,数据库还不是一个成熟的事物。

和很多技术从简单到复杂的发展历程不太一样,数据库首先成熟并被大规模使用的是 RDBMS(关系型数据管理系统),后来才逐渐兴起了实现相对简单,以 Redis 为代表的 KV 型的数据库。

数据库从后端的技术上看是一个算法、数据结构、系统工程、性能优化的交汇点。

笔者一直对数据库领域充满了兴趣,前前后后主导和参与了很多数据库及相关系统的开发。这三年的主要业余时间都在研究数据库,由于大多数数据库项目都历史悠久,代码量基本都在50万行以上,阅读起来让人颇感头疼。咬牙坚持了两年,有了一点点心得。

因此决定写一个代码量尽量少,但又能有现代数据库的基本架构的项目,于是花了一周时间写了“GO SQL DB”

“Go SQL DB” 是一个研究目的的支持SQL查询的关系型数据库。主要目标是为了向数据库爱好者展示一个关系型数据库的基本原理和关键设计。

因此,为了便于理解,采取了很多取巧但不是很严谨的设计,代码量控制在了 2000 行左右(包含了 400 多行的单元测试代码)。

特性列表

  1. 纯 Golang 实现,不依赖任何第三方包。仅在单元测试中引入了 goconvey

  2. 单元测试覆盖率≈ 73.5%

存储引擎

  1. 基于 B+Tree 的数据检索结构

  2. 基于 4KB 分页的磁盘持久化引擎

  3. 接近 POD(Plain Old Data)的序列化 & 反序列化

SQL Parser

  1. Tokenizer 基于 text/scanner 实现

  2. 支持简单的 SELECT、INSERT 语法

  3. SELECT 支持数值类型的 WHERE

  4. 支持 LIMIT,但暂不支持 ORDER BY

  5. 如果你想要了解可以生产可用的 SQL Parser 是如何实现的,请参考我从 CrockroachDB 剥离的 SQL-2011 标准支持的 SQL Parser[1]

执行计划 Planner

  1. 基于火山模型(Volcano Model)的 Select 实现[2]

  2. 基于 HTTP 的查询和插入接口

实现的局限

  1. 暂时没有实现 DDL,仅有固定的 Schemastruct Row { Id uint32 Sex byte Age uint8 Username [32]byte Email [128]byte Phone [64]byte }

  2. SQL 语法的有限支持,参见单测用例[3]
    Tokenizer 由于是基于 Golang 语言本身的一个取巧实现,对于一些字符串里的特殊字符支持会出现问题,可以通过加 “ 解决

传送门

GitHub地址:

https://github.com/auxten/go-sqldb

[1] SQL-2011 SQL Parser:

https://github.com/auxten/postgresql-parser

[2] 基于火山模型(Volcano Model)的 Select 实现:

https://github.com/auxten/go-sqldb/blob/main/planner/select.go

[3] 单测用例:

https://github.com/auxten/go-sqldb/blob/main/parser/parser_test.go

特别感谢

  1. Marshal/Unmarshal Code generation:https://github.com/andyleap/gencode/

  2. Document-oriented, embedded SQL database: genji:https://github.com/genjidb/genji

  3. CockroachDB:https://github.com/cockroachdb/cockroach

  4. Let’s Build a Simple Database:https://cstack.github.io/db_tutorial/

SQL数据库的历史

最后说一下SQL数据库的历史吧。

上世纪 60 年代,由于 IT 技术尚未普及,硬件能力也捉襟见肘。程序员面临的业务逻辑还不是很复杂,但更可怕的是当时没有 Google,更没有 GitHub、Stack Overflow。即使是构建一个最简单的增删改查系统也需要自己手动调用操作系统反人类的 API,应用各种数据结构、算法去完成数据的存储和检索。

和很多技术从简单到复杂的发展历程不太一样,数据库首先成熟并被大规模使用的是 RDBMS(关系型数据管理系统),后来才逐渐兴起了实现相对简单,以 Redis 为代表的 KV 型的数据库。

关系型数据库的大规模应用和 SQL 被普遍认可成为了关系型数据库的标准查询语言有很大的关系:

SQL 编程语言最初是 IBM 研究人员 Raymond Boyce 和 Donald Chamberlin 在 1970 年代开发 “System R” 的过程中落地的。SQL 当时被称为 SEQUEL(这也是SQL普遍读法的由来)后来由于注册商标的问题,才改名为 SQL。SQL 的发明很大程度上是参考了 Edgar Frank Codd 于 1970 年发布论文《A Relational Model of Data for Large Shared Data Banks》。

1977 年,32 岁的程序员 Larry 从在 IBM 工作的好基友 Oates 那里拿到一本内部期刊《IBM Research Journal》,从上面读到了 System R 的一些消息。由于技术人员对技术的敏感性,他们觉得这玩意儿一定会大火,于是三个 30 多岁的程序员决定去创业,于是自己凑钱创建了一个软件开发公司。公司名也是取得相当直白:SDL(Software Development Labs,”软件开发实验室”)。随着 IBM System R 的推出市场,SQL 语言迅速普及,Larry 原来只是想开发一个兼容 System R 的数据库系统,跟在 IBM 后面喝点汤。

但 System R 竟然把返回的 Error Codes 当成了秘密保护了起来。不让我加入,那我就跟你打,于是 Larry 把公司名改成 “Relational Software, Inc” 准备跟 IBM 死磕。1 年后,他们开发出了数据库产品的第一个版本并把它命名为 “Oracle”,更让大家开心的是他们成功的把产品卖给了美国海军和中央情报局等政府部门。于是大家买了个蛋糕给公司过了一个一周岁的生日,留下了这张照片:

1979 年,RSI 公司发布了 Oracle v2 和一个自己的 SQL 版本……

7 年之后 Oracle 上市,程序员 Larry 和 Oates 走上人生巅峰,持剑少年变恶龙……

System R 把 Error Codes 作为机密保护起来的做法像极了日后 Oracle 收购 Sun MicroSystems 获得了 Java 的版权后把 Java 的函数接口申请专利的做法。

Oracle 上市的同年,SQL 正式被 ANSI(American National Standards Institute)定为标准,第二年 SQL 成为了 ISO 标准,编号:ISO/IEC 9075。此后分别在:1989, 1992, 1996, 1999, 2003, 2006, 2008, 2011, 2016 年不断增补,就有了后世经常提到的 SQL-89、SQL-92、SQL:2011 等叫法。

关于山景智能

山景智能是一家AI赋能的企业业务超自动化解决方案提供商,是国内企业业务超自动化的领军者。

山景致力于推动企业业务超自动化,瞄准中国中大型企业业务端场景,基于云原生架构,融合业务驱动+AI增强型数据管理、自动机器学习、模型可解释、零代码敏捷开发等创新技术,面向企业提供“数据+AI+业务”端到端的超自动化平台及解决方案,帮助企业实现数字化转型,提升组织运营效率,提升企业业务价值。

公司官网:www.senses-ai.com

— 完 —

相关资讯

江苏的野心勃勃,都藏在数据里了

来源 | 大数据透析站这是什么水平?作为苏南模式的代表之一,无锡可不是吃素的,按照现在流行的算法,1无锡≈1黑龙江省≈4.3青海省。按照2021年6.45的平均汇率换算,江苏的GDP高达1.8万亿美元,超过澳大利亚、俄罗斯、韩国,略低于全球

中国买来最急需直升机为何不引进生产线?俄方关键数据点破窗户纸

米-17系列现在基本替代了“黑鹰”称为了绝对主力 30年的“黑鹰”现在应急用长期以来,在中国陆航部队中,能够担负高海拔地区运输的只有从美国引进的S-70“黑鹰”中型直升机。那段时间,能够爬上4500米以上高海拔地区的只有“黑鹰”,而且中国的

濉溪县数据资源局到县城管局、市大数据中心开展数字濉溪走访调研

濉溪县数据资源局到县城管局、市大数据中心开展数字濉溪走访调研为了解淮北市、濉溪县大数据发展现状和趋势,促进濉溪县大数据快速发展,推进“数字濉溪”建设,9月16日,濉溪县数据资源局党组书记、局长刘溪带领全体职工到濉溪县城管局、淮北大数据中心进

特步半年报数据惊艳,硬科技交出高增长答卷

8月23日,特步国际(1368.HK)发布了2022年上半年财报。特步国际上半年收入达56.84亿元,同比增长37.5%;经营利润实现9.22亿元,同比增长34.8%;普通股股权持有人应占净利润为5.90亿元,同比增长38.4%。整体上看,

别跟我谈PHP培训,我要自己学

学php.1 好上手,不像java比较复杂,分有好多方向,学习过程中容易迷失;2 php比较流行,潜力很大,不用像ios 似的,苹果不行了ios就废了3 工资也高,我之前看过一篇文章说杭州的程序员工资排行依次是iOS android php

高度近视明星,你知道几位,最严重的脱离眼镜不知道自己在哪

今天小编想说的话题是,大家平时看的电影电视剧,综艺节目,有看到明星带眼镜嘛,貌似很少看吧,难道演员们的视力都极佳吗?其实事实恰恰相反。也有许多明星因为近视,但为了拍戏,为了美观所以,只会戴隐形眼镜或者做视力矫正手术。还记得林心如当年扮演的紫

做完这道题你就能知道自己近视程度,反正小编是跪了!

先来几道开胃小菜,仔细看这张条纹图绝对神奇!近视的人能看到一个戴眼镜、齐耳短发的女人;不近视的只能看到竖条;视力超凡的人还能看出阴影哦~找一下这张图里的数字:红色盲者只能看出6;而绿色盲者只能看到2;正常人能看到26,你是哪个?红绿色盲者及

友情链接

SEO域名抢注宝宝起名网妈妈知道币圈oppo手机评测网四川郎酒股票网欧米茄腕表电饭煲品牌网新疆旅游网柴蔚影迷网广州交友相亲网瑞典旅游网西藏藏红花网副业项目网田螺养殖青岛啤酒A股元阳梯田游玩攻略胡先煦影迷网无名电影影评网
MYSQL数据库应用网-mysql数据库基础知识、Mysql还原数据库、mysql数据库迁移方案、mysql数据库增删改查、mysql数据备份和恢复、mysql数据迁移工具、mysql数据库迁移详细步骤、mysql数据库存储目录迁移、mysql数据库不停机迁移方法、mysql数据备份和恢复、免费mysql服务器、mysql官网免费版安装教程。
MySQL数据库应用 nincu.cn ©2022-2028版权所有