-
java 开源中文的繁简体转换工具 opencc4j 使用入门-01-overview
Opencc4j
Opencc4j 支持中文繁简体转换,考虑到词组级别。
拓展阅读
pinyin 汉字转拼音
pinyin2hanzi 拼音转汉字
segment 高性能中文分词
opencc4j 中文繁简体转换
nlp-hanzi-similar 汉字相似度
word-checker 拼写检测
sensitive-word 敏感词
Features 特点
...
2020-01-09 02:09:32 |
Search
-
TF-IDF 找出相似文章算法
相似性文章
今天,我们再来研究另一个相关的问题。
有些时候,除了找到关键词,我们还希望找到与原文章相似的其他文章。
比如,”Google新闻”在主新闻下方,还提供多条相似的新闻。
余弦相似性
为了找出相似的文章,需要用到 “余弦相似性”(cosine similiarity)。
下面,我举一个例子来说明,什么是”余弦相似性”。
例子
句子
为了简单起见,我们先从句子着手。
...
2020-01-09 02:09:32 |
Search
-
相似文章算法之语义指纹-文本内容去重
引言
网络爬虫让我们高效地从网页获取到信息,但网页的重复率很高,网页需要按内容做文档排重,而判断文档的内容重复有很多种方法,语义指纹是其中比较高效的方法。
本文选自《网络爬虫全解析——技术、原理与实践》。
用途
文章相似度,杜绝论文抄袭等等。
语义指纹的由来
提到“指纹”就想到了人手的指纹。
那么指纹能干嘛呢?
我们看到最多的是警匪片中验指纹,还有公司考勤打卡用指纹等。其目的...
2020-01-09 02:09:32 |
NLP
-
TF-IDF 自动提取关键词
自动提取关键词
这个标题看上去好像很复杂,其实我要谈的是一个很简单的问题。
有一篇很长的文章,我要用计算机提取它的关键词(Automatic Keyphrase extraction),完全不加以人工干预,请问怎样才能正确做到?
这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域,但是出乎意料的是,有一个非常简单的经典算法,可以给出令人相当满意的结果。
它简单到都不需要高...
2020-01-09 02:09:32 |
Search
-
TF-IDF 自动生成文章摘要
自动摘要
有时候,很简单的数学方法,就可以完成很复杂的任务。
这个系列的前两部分就是很好的例子。
仅仅依靠统计词频,就能找出关键词和相似文章。
虽然它们算不上效果最好的方法,但肯定是最简便易行的方法。
今天,依然继续这个主题。讨论如何通过词频,对文章进行自动摘要(Automatic summarization)。
如果能从3000字的文章,提炼出150字的摘要,就可以为读者节省大...
2020-01-09 02:09:32 |
Search
-
倒排索引原理与实现
关于倒排索引
场景是:给定几个关键词,找出包含关键词的文档
倒排索引: 不是由记录来确定属性值,而是由属性值来确定记录的位置
lucene 是基于倒排索引实现的。
倒排文件(inverted file):存储倒排索引的物理文件
倒排索引组成:单词词典和倒排文件。
倒排索引一般表示为一个关键词,然后是它的频度(出现的次数),位置(出现在哪一篇文章或网页中,及有关的日期,作者等信息)...
2020-01-09 02:09:32 |
Search
-
tess4j 实现 OCR 图片文字识别
OCR图像识别技术的JAVA实现
最近有个需求需要用图像识别,学习记录一下。
目前网络上的开源的图像识别技术有很多,例如 OCRE(OCR Easy)、Clara OCR、OCRAD、TESSERACT-OCR 等。
今天本blog将记录下tesseract-ocr的JAVA实现,便于以后查阅使用。
开源 ocr 引擎
https://github.com/search?q=ocr...
2020-01-09 02:09:32 |
OCR
-
java 实现 OCR 图片文字识别中文
背景
我们上一节讲过了针对英文的 ocr 实现,现在我们来尝试一下中文识别。
我们准备一张简单的中文图片:
准备工作
下载中文训练集
下载地址 所有语言的训练集
此处直接下载 简体中文训练集,然后将其拷贝到我们的
tessdata 文件夹中:
C:\Program Files (x86)\Tesseract-OCR\tessdata
maven 引入
<dep...
2020-01-09 02:09:32 |
OCR