Apache Calcite 动态数据管理框架-05-java 访问 ES 整合常见聚合函数验证 sum/count/min/max/avg 支持
实战测试
说明
验证一下 es calcite 整合时,对于聚合函数的支持情况。
准备工作
参见 Apache Calcite 动态数据管理框架-05-java 访问 ES 整合 apache calcite,使用标准 SQL 访问 ES
测试代码
这里我们除了输出所有信息之外,还同时输出了 min/max/avg/count/sum
package org.example;
...
2018-11-15 00:38:35 |
Search
Apache Calcite 动态数据管理框架-06-Es 整合时中文乱码报错 org.apache.calcite.runtime.CalciteException Failed to encode in character set 'ISO-8859-1'
报错1-中文报错
准备工作
参见 Apache Calcite 动态数据管理框架-05-java 访问 ES 整合 apache calcite,使用标准 SQL 访问 ES
测试代码
package org.example;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.calcite....
2018-11-15 00:38:35 |
Search
Lucene-03-lucene 索引原理
Lucene 倒排索引原理
Lucerne使用的是倒排文件索引结构。
该结构及相应的生成算法如下:
设有两篇文章 1 和 2:
文章1的内容为:Tom lives in Guangzhou,I live in Guangzhou too.
文章2的内容为:He once lived in Shanghai.
取得关键词
由于lucene是基于关键词索引和查询的,首先...
2018-11-15 00:38:35 |
Search
Lucene-02-lucene 基础知识
Lucene 基础知识
读写流程
Lucene的写流程和读流程如图1所示。
其中,虚线箭头(a、b、c、d)表示写索引的主要过程,实线箭头(1-9)表示查询的主要过程。
核心模块
Lucene中的主要模块(见图1)及模块说明如下。
analysis模块:主要负责词法分析及语言处理,也就是我们常说的分词,通过该模块可最终形成存储或者搜索的最小单元Term。
index模块:主...
2018-11-15 00:38:35 |
Search
Lucene-01-lucene 入门教程
Apache Lucene
Apache Lucene 项目开发开源搜索软件,
包括:
Lucene Core是我们的旗舰子项目,提供基于Java的索引和搜索技术,以及拼写检查,命中突出显示和高级分析/标记化功能。
SolrTM是一个使用Lucene Core构建的高性能搜索服务器,具有XML/HTTP和JSON/Python/Ruby API,突出...
2018-11-15 00:38:35 |
Search
Logstash 日志处理转换 ETL 入门介绍
拓展阅读
日志开源组件(一)java 注解结合 spring aop 实现自动输出日志
日志开源组件(二)java 注解结合 spring aop 实现日志traceId唯一标识
日志开源组件(三)java 注解结合 spring aop 自动输出日志新增拦截器与过滤器
日志开源组件(四)如何动态修改 spring aop 切面信息?让自动日志输出框架更好用
日志开源组件(五)如何...
2018-11-15 00:38:35 |
Search
开源的数据可视化平台 Kibana 日志可视化 mac 安装笔记
拓展阅读
日志开源组件(一)java 注解结合 spring aop 实现自动输出日志
日志开源组件(二)java 注解结合 spring aop 实现日志traceId唯一标识
日志开源组件(三)java 注解结合 spring aop 自动输出日志新增拦截器与过滤器
日志开源组件(四)如何动态修改 spring aop 切面信息?让自动日志输出框架更好用
日志开源组件(五)如何...
2018-11-15 00:38:35 |
Search
Elasticsearch-06-Es分片数据刷新策略(RefreshPolicy)
RefreshPolicy-刷新策略
es分片默认刷新频率为1s
刷新频率越高越耗资源(刷新即写入硬盘,并会产生记录),详细参考es的refresh过程
{
"settings": {},
"defaults": {
"index": {
"refresh_interval": "1s"
}
}
}
为保证数据实时性,es提供手动刷新方法,以...
2018-11-15 00:38:35 |
Search