数据库工程师(曾在国内外5家大厂做数据库工程师)-成都富士康现状最新信息

Pine 编译自 凹非寺量子位 | 公众号 QbitAI

出门要健康码，买东西用支付码……

什么都可以变成数据，近来被追捧的元宇宙甚至告诉我们连人都可以变成数据。

我们貌似已经习惯了与数据相依存的生活，但在未来，数据会发展成什么样子，你有想过吗？

有30多项机器学习和数据云专利的大佬Luhui Hu发了一篇博客。

他梳理了数据库的发展以及现状，或许从中我们可以洞见数据未来的模样。

一起来看看吧～

数据的探索

首先，简单了解下数据库。

一言以蔽之，就是能够存储并管理庞杂的数据。

在过去的30年中，作为编程语言、操作系统中必不可少的技术，数据库的数量在呈指数级增长，已经诞生出数百种不同的数据库。

典型如SQL到NoSQL和NewSQL。

这些数据库主要进行两项工作：

在线事务处理（OnLine Transactional Processing 简称：OLTP）；

在线分析处理（OnLine Analytical Processing 简称：OLAP）。

早在20世纪60年代早期，Charles Bachman就开发了第一个数据库。

起初对于数据库的探索主要集中在数据库查询和它的模型上，包括SQL（结构化查询语言）、XML（可扩展标记语言）和面向对象。

众多数据库在经过10多年的竞争之后，Oracle、SQL Server和MySQL三个脱颖而出。

它们凭借结构化查询语言和遵循ACID（原子性、一致性、隔离性、持久性，在出现故障的情况下也可以保证数据的有效性），几乎主导了商业市场和开源社区。

然而，数据的种类、速度以及数据量在不断增长，这对数据库提出了更高的要求，这时出现了一种新的数据库：NoSQL。

不同于传统的数据库，NoSQL允许部分数据使用SQL系统存储，而其他数据则使用NOSQL系统存储。

除此之外，NoSQL还首次提出了性能效率、模式灵活性和一些新的功能，并且还拥有键值存储、文档数据库、面向列的数据库、图形数据库等。

但由于NoSQL数据库在遵守CAP定理（不能同时满足一致性、可用性、分区容错性）时更注重可用性而非一致性，导致许多数据库为了实现最终一致性或非规范化而做出妥协和优化。

这也恰恰说明了数据库要与时俱进，契合当前数据的特点以及人们的需求。

就比如说NewSQL，它是一类现代的关系数据库，为OLTP工作提供了与NoSQL相同的可扩展性能，同时仍然使用SQL并维护传统数据库的ACID保证。

在数据库的发展过程中，还有一个不得不提的东西：数据仓库。

它是用于数据分析和业务洞察的核心组件，但在10年前大数据平台出现之后，人们从传统的数据仓库转移到大数据平台，它就黯然失色了。

直到云技术的出现，重新赋予给数据仓库新的性能，使它具备了可扩展性，数据仓库这才再次被人们注意到。

随着高性能、高可扩展性数据云的出现，一个新的数据平台生态系统——现代数据堆栈应运而生。

云技术通过云托管(半托管甚至完全托管)和云原生两种方式使得数据库自动化或半自动化。

在这其中，云技术具体是怎么操作的呢？

它主要是通过解耦数据库的存储和计算，重新定义体系结构。

并且存储或计算还可以独立扩展，提高数据库的效率、性能和灵活性等。

除此之外，这种解耦架构还能为数据库系统合并不同类型的存储和计算，以实现总体的高性能和新功能。

目前，云技术正在逐步应用到数据库中。

S3（Simple Storage Service 简单存储服务）因为自身的简单性、低成本、高可用性、可扩展性等，已经成为云计算的基础。

而且，它还演变成了数据湖，可以用来存储、处理和保护大量结构化、半结构化和非结构化数据。

现代数据库

讲了这么多数据库的发展，说回到现代数据库。

提到现代数据库，就不得不了解下面两种架构。

首先是Data Lakehouse，它相当于是数据仓库和数据湖的结合，可以看作是在对象存储上运行快速的SQL。

它同时具备了数据仓库的性能和数据湖的灵活性，能够消除数据孤岛（数据之间无法互通）和ETL（抽取-转置-加载）过程，从而使得数据的性能、灵活性和成本效益都得到提升。

除此之外，它还统一了所有的数据，简化了数据工程过程，并支持BI（商业智能）和AI工作负载在一起。

了解完Data Lakehouse，再来说说混合事务/分析处理（HTAP）。

它是一种新兴的应用程序架构，为热门的现代数据库提供了动力。

比如说谷歌发布的HTAP数据库产品AlloyDB，具有卓越的性能、可扩展能力和可用性，并且在高并发的OLTP环境中，可以快速响应用户的复杂操作。

而Snowflake（数据云公司）紧随其后，发布了Unistore，同样也支持HTAP，可以在单一平台上同时处理交易和分析数据。

进一步来说，和Lakehouse一样，HTAP的目标也是消除从OLTP到OLAP或从数据湖到数据仓库的ETL过程。

并且，当前的HTAP是支持OLTP和OLAP工作负载的单一系统体系结构，而早期的数据库只能配置为OLAP或OLTP（不能同时使用）。

未来走向

数据对于现在的生活的确至关重要，我们也能从现在数据库的发展状况窥见些许未来数据的走向。

大致总结了五大方向。

统一BI和AI

首先，数据库在未来可能会统一BI和AI。

总的来说，未来数据库的目标应该是解锁所有数据的业务价值，并支持BI和AI的整个数据景观，包括从描述到诊断、预测和规范等数据分析操作。

统一BI和AI不仅可以消除数据仓库和ETL，还可以简化管道，提高利益相关者的生产力。Data Lakehouse可以被视作是一个巨大的飞跃，但是目前还只是处于起步阶段。

除此之外，在从数据到商业价值的过程中，也会激发多种的岗位需求: 数据工程师、数据分析师、数据科学家、机器学习工程师等。

专用网格

其二，未来的数据库可以通过构建专用的网络来满足多样化需求。

就目前来看，数据库技术融合已经成为一种趋势，如NewSQL、Lakehouse和HTAP。

但NewSQL、Lakehouse仍然是OLTP或OLAP的一种类型，CAP定理仍然成立。

并且当前的HTAP解决方案主要是OLTP，只适合小型工作负载。目前市场上可用的HTAP还远不能作为大型企业数据仓库或数据非结构化数据。

因此，专门构建的数据库很有必要，它可以更好地满足不同的业务目标，包括性能、可伸缩性或者/和特定的用例（例如，时间序列数据、图表、搜索等）。

而且还可以分离开具有收敛层的数据库，用于互连、统一的数据服务和一致的治理。

多云策略

前面已经提到过云技术与数据库的结合，这在未来也是一大发展趋势，比如说多云策略。

多云策略是指在不移动数据的情况下将公共云和私有云联合起来。

它可以提高与多个云供应商的服务可用性，通过近距离计算减少延迟，从特定的云生态系统启用独特的功能，通过更多的云产品扩展全球可用性，并增强数据遵从性。

并且，多云策略还可以推动数据可观测性、数据编目、数据共享和数据编排的浪潮。

智能数据

数据与人工智能也有结合的潜力。

目前，有三个领域的人工智能和数据相互启用:AI for Data，AI for Database和Data for AI。

智能数据是AI for Data，它可以使数据具有数据治理、数据谱系、元数据、语义以及来自分析和人工智能的新数据等方面的要素。

预计到2025年，所有数据的10%将由生成型人工智能模型产生。这些数据包括声音、视频、图像、文本、结构化数据、代码等。

数据资产

数据库除了有上述的发展趋势外，还可以用作资产管理。

数据资产是将数据作为数据库或组织或个人存储器中的数字资产进行管理。

这样的数据库不仅是一个数据管理系统，而且还提供了数据可观测性、安全和隐私、定价、数据生命周期管理等。

未来数据库的发展走向肯定不止于此，你觉得它还有哪些新颖的潜力，欢迎在评论区留言～

参考链接：
https://towardsdatascience.com/newsql-lakehouse-htap-and-the-future-of-data-69d427c533e0

— 完 —

量子位 QbitAI · 头条号签

关注我们，第一时间获知前沿科技动态约