2023年下半年，数据库行业有了一些新的发展特点，特别是国产厂商成为了发展主力。经过多年发展，国产数据库推广进入“深水区”，并取得不俗成绩。
从技术角度上看，国内数据库产品在多模向量、智能运维、云与云原生、数据库兼容等技术上取得了不少突破，并开始在用户落地上取得一定成果。
在分布式数据库领域，一方面产品规模化落地并开始输出行业经验，加速实践过程；一方面以HTAP、多模等特性为代表，极大丰富了分布式数据库场景。同时我们也看到，国内集中式数据库领域取得了一定突破，这一架构产品逐步成熟可实现更为平滑的替代，成为部分国内用户的首选。以图、时序、向量等为代表的异构模型数据库产品开始受到更多关注，传统数据库中也开始更多支持如JSON等类型，场景化落地成为此类技术发展要点。上半年大火的ChatGPT，也开始以自主SQL生成、智能优化等功能形式在更多国内数据库产品中落地。在数据分析领域，湖仓一体、融合型数仓发展快速，也成为资本方关注热点。此外，数据安全、软硬结合、数据治理等方面也有不小的进步。
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Introduction.html
Amazon DynamoDB是一种完全托管的NoSQL数据库服务，提供快速且可预测的性能，并具备无缝扩展的能力。DynamoDB使您能够摆脱操作和扩展分布式数据库的管理负担，因此您无需担心硬件配置、设置和配置、复制、软件补丁或集群扩展。DynamoDB还提供了静态加密，消除了在保护敏感数据方面涉及的操作负担和复杂性。有关更多信息，请参阅DynamoDB静态加密。
Cassandra是一种分布式的NoSQL数据库。按设计，NoSQL数据库具有轻量级、开源、非关系型和广泛分布的特点。
它们的优势之一包括横向可扩展性、分布式架构以及对模式定义的灵活性。
NoSQL数据库使得对极高容量、不同数据类型的数据进行快速的即兴组织和分析成为可能。这在最近几年变得更加重要，随着大数据的出现以及在云中迅速扩展数据库的需求。Cassandra是一种已经解决了先前的数据管理技术（如SQL数据库）的限制的NoSQL数据库之一。
NoSQL分布式数据库Cassandra的一个重要特性是其数据库是分布式的。这既带来了技术上的优势，也带来了业务上的优势。当应用程序承受高压力时，Cassandra数据库可以轻松扩展，而分布还能防止由于任何给定数据中心的硬件故障而导致的数据丢失。分布式架构还带来了技术上的强大之处；例如，开发人员可以独立调整读取查询或写入查询的吞吐量。
Apache Iceberg是一个用于大型分析数据集的开放表格格式。
Iceberg通过为计算引擎（包括Spark、Trino、PrestoDB、Flink、Hive和Impala）添加表格，采用高性能的表格格式，其操作方式与SQL表格相同。
Iceberg避免了令人不快的惊喜。模式演变可靠运行，不会无意中取消删除数据。用户无需了解分区即可获得快速查询。
模式演变支持添加、删除、更新或重命名，并且没有副作用
隐藏分区防止用户错误，导致悄无声息的不正确结果或极慢的查询
分区布局演变可以根据数据量或查询模式的变化更新表格的布局
时间旅行使查询可重现，使用完全相同的表格快照，或让用户轻松查看更改
版本回滚允许用户通过将表格重置为良好状态来快速纠正问题
IoTDB 是针对时间序列数据收集、存储与分析一体化的数据管理引擎。
它具有体量轻、性能高、易使用的特点，完美对接 Hadoop 与 Spark 生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
IoTDB（Internet of Things Database）是一个专为物联网（IoT）应用场景设计的开源时序数据库系统。
它专注于高性能、高可用性和易扩展性，以满足大规模物联网数据的存储和查询需求。以下是对IoTDB的详细介绍：
时序数据库： IoTDB是一种时序数据库，主要用于存储和管理时间序列数据，这是在物联网应用中常见的一种数据类型。时序数据是按照时间顺序进行排序的数据，如传感器数据、设备状态记录等。
高性能： IoTDB致力于提供高性能的数据存储和查询服务。它采用了一系列优化策略，包括数据压缩、索引优化、多层次存储结构等，以确保在大规模数据量和高并发读写请求的情况下保持高性能。
高可用性： IoTDB支持分布式架构，可以部署在多个节点上，从而提高系统的可用性。通过数据的分布式存储和复制，IoTDB能够在某个节点发生故障时保持系统的正常运行。
易扩展性： IoTDB设计了可扩展的体系结构，支持动态添加新的节点以适应不断增长的数据和请求量。这使得系统能够在需要时方便地进行水平扩展。
支持 SQL 查询语言： IoTDB允许使用SQL语言进行数据查询，使得开发人员能够通过熟悉的方式与数据库进行交互。这也降低了学习曲线，方便用户快速上手。
开源： IoTDB是一个开源项目，这意味着任何人都可以查看、使用和修改其源代码。这为开发人员提供了灵活性，可以根据特定需求进行定制和改进。
支持多种数据模型： IoTDB支持多种数据模型，包括数字数据、布尔型数据、枚举型数据等。这使得它能够适应不同类型的物联网应用场景。
灵活的存储策略： IoTDB支持多种存储策略，包括追加式存储、预写式日志等。这有助于满足不同应用场景下对数据写入和查询的灵活需求。
原文地址： Apache Calcite 动态数据管理框架介绍
随着数据规模的不断增长和数据源的多样化，开发人员需要面对各种挑战，如何高效地管理、查询和分析海量数据成为了一个迫切的问题。
在这样的背景下，出现了许多优秀的开源组件，它们提供了丰富的功能和灵活的解决方案，帮助开发者轻松地处理各种数据处理任务。
我们在 Apache Calcite 动态数据管理框架介绍 介绍了 calcite 的基本功能，本文一起来看一下如何实现一个 csv 的 sql 查询。
4.0.0
org.example
calcite-learn
1.0-SNAPSHOT
pom
calcite-learn-basic
8
8
UTF-8
1.20.0
org.apache.calcite
calcite-core
${calcite.version}
org.apache.calcite
calcite-example-csv
${calcite.version}
org.apache.maven.plugins
maven-compiler-plugin
3.8.1
1.8
1.8直接根据例子，找到核心的类。
我们看一下 csv 的入门例子：
public static void main(String[] args) throws Exception {
// 0.获取csv文件的路径，注意获取到文件所在上层路径就可以了
String path = "D:\\github\\calcite-learn\\calcite-learn-basic\\src\\main\\resources\\csv\\";
// 1.构建CsvSchema对象，在Calcite中，不同数据源对应不同Schema，比如CsvSchema、DruidSchema、ElasticsearchSchema等
CsvSchema csvSchema = new CsvSchema(new File(path), CsvTable.Flavor.SCANNABLE);
// 2.构建Connection
// 2.1 设置连接参数
Properties info = new Properties();
// 不区分sql大小写
info.setProperty("caseSensitive", "false");
// 2.2 获取标准的JDBC Connection
Connection connection = DriverManager.getConnection("jdbc:calcite:", info);
// 2.3 获取Calcite封装的Connection
CalciteConnection calciteConnection = connection.unwrap(CalciteConnection.class);
// 3.构建RootSchema，在Calcite中，RootSchema是所有数据源schema的parent，多个不同数据源schema可以挂在同一个RootSchema下
// 以实现查询不同数据源的目的
SchemaPlus rootSchema = calciteConnection.getRootSchema();
// 4.将不同数据源schema挂载到RootSchema，这里添加CsvSchema
rootSchema.add("csv", csvSchema);
// 5.执行SQL查询，通过SQL方式访问csv文件
String sql = "select * from csv.depts";
Statement statement = calciteConnection.createStatement();
ResultSet resultSet = statement.executeQuery(sql);
// 6.遍历打印查询结果集
printResultSet(resultSet);
}直接根据例子，找到核心的类。
我们看一下 csv 的入门例子：
public static void main(String[] args) throws Exception {
// 0.获取csv文件的路径，注意获取到文件所在上层路径就可以了
String path = "D:\\github\\calcite-learn\\calcite-learn-basic\\src\\main\\resources\\csv\\";
// 1.构建CsvSchema对象，在Calcite中，不同数据源对应不同Schema，比如CsvSchema、DruidSchema、ElasticsearchSchema等
CsvSchema csvSchema = new CsvSchema(new File(path), CsvTable.Flavor.SCANNABLE);
// 2.构建Connection
// 2.1 设置连接参数
Properties info = new Properties();
// 不区分sql大小写
info.setProperty("caseSensitive", "false");
// 2.2 获取标准的JDBC Connection
Connection connection = DriverManager.getConnection("jdbc:calcite:", info);
// 2.3 获取Calcite封装的Connection
CalciteConnection calciteConnection = connection.unwrap(CalciteConnection.class);
// 3.构建RootSchema，在Calcite中，RootSchema是所有数据源schema的parent，多个不同数据源schema可以挂在同一个RootSchema下
// 以实现查询不同数据源的目的
SchemaPlus rootSchema = calciteConnection.getRootSchema();
// 4.将不同数据源schema挂载到RootSchema，这里添加CsvSchema
rootSchema.add("csv", csvSchema);
// 5.执行SQL查询，通过SQL方式访问csv文件
String sql = "select * from csv.depts";
Statement statement = calciteConnection.createStatement();
ResultSet resultSet = statement.executeQuery(sql);
// 6.遍历打印查询结果集
printResultSet(resultSet);
}下面是Apache Calcite源码中各个模块的简要介绍：
babel：提供将SQL转换为不同数据库方言的功能，使得Calcite可以支持多种数据库的查询。
bom：这个模块定义了一个“Bill of Materials”，用于管理Calcite项目中使用的依赖库的版本。
buildSrc：包含构建工具和脚本，用于构建Calcite项目。
cassandra：提供与Apache Cassandra数据库的集成支持。
core：这是Apache Calcite的核心模块，包含了SQL解析、优化和执行的主要功能。
druid：提供与Apache Druid数据库的集成支持。
elasticsearch：提供与Elasticsearch的集成支持。
example：包含一些使用Calcite的示例代码。
file：提供对文件系统的查询支持。
geode：提供与Apache Geode数据库的集成支持。
gradle：包含Gradle构建脚本，用于构建整个Calcite项目。
innodb：提供对InnoDB存储引擎的支持。
kafka：提供与Apache Kafka的集成支持。
linq4j：提供了用于编写类似LINQ的查询的库。
mongodb：提供与MongoDB的集成支持。
pig：提供与Apache Pig的集成支持。
piglet：提供了一个Pig Latin查询语言的解析器。
plus：包含一些额外的功能和扩展，用于增强Calcite的功能。
redis：提供与Redis数据库的集成支持。
release：包含发布相关的脚本和文档。
server：提供了一个Calcite服务器，可以通过网络接口执行查询。
site：包含了Calcite项目的网站文档。
spark：提供与Apache Spark的集成支持。
splunk：提供与Splunk的集成支持。
src：包含Calcite项目的源代码。
testkit：包含用于测试的工具和实用程序。
ubenchmark：包含性能基准测试的代码和工具。