最大熵和对数线性模型-实现中文词性标注
上一讲主要内容回顾(Last time):
基于转换的标注器(Transformation-based tagger)
基于隐马尔科夫模型的标注器(HMM-based tagger)
遗留的内容(Leftovers):
a) 词性分布(POS distribution)
i. 在Brown语料库中按歧义程度排列的词型数目(The numbe...
2020-01-28 02:09:32 |
Math
隐马尔可夫(HMM)实现中文词性标注 MIT 笔记
基本介绍
a) 标注问题(Tagging)
i. 任务(Task): 在句子中为每个词标上合适的词性(Label each word in a sentence with its appropriate part of speech)
ii. 输入(Input): Our enemies are innovative and resourceful , and so are we....
2020-01-28 02:09:32 |
Math
隐马尔可夫(HMM)实现中文词性标注
词性标注
词性标注(Part-of-Speech tagging 或 POS tagging)是指对于句子中的每个词都指派一个合适的词性,也就是要确定每个词是名词、动词、形容词或其他词性的过程,又称词类标注或者简称标注。
词性标注是自然语言处理中的一项基础任务,在语音识别、信息检索及自然语言处理的许多领域都发挥着重要的作用。
因此,在关于自然语言处理的书籍中,都会将词性标注单列一章重点...
2020-01-28 02:09:32 |
Math
隐马尔可夫(HMM)实现中文分词
中文分词
HMM 的应用场景有很多,我们首先来谈一谈如何实现中文分词。
本文假设读者已经对HMM有所了解,很多地方会直接提出相关概念。
理解前向算法,维特比算法是关键,关于无监督学习HMM的Baum-Welch算法在本文中没有使用,至少了解它的作用即可。
中文分词的难处
总所周知,在汉语中,词与词之间不存在分隔符(英文中,词与词之间用空格分隔,这是天然的分词标记),词本身也缺乏明显...
2020-01-28 02:09:32 |
Math
一些有趣的考验反应能力的题目
序章
收集一些有趣的小问题,活跃一些思维。
一道著名的毒酒问题
题目
有1000 桶酒,其中1 桶有毒。而一旦吃了,毒性会在1 周后发作。
现在我们用小老鼠做实验,要在1 周内找出那桶毒酒,问最少需要多少老鼠。
思路
需要10只老鼠就可以。
10只老鼠按从左到右的顺序编好号1-10,同时每桶酒通过二进制的方式编上号。编号需要写满10位,不够十位数的前面添度0补满。分别取数位和...
2020-01-23 02:09:32 |
Interview
leetcode 716 最大栈
题目
设计一个最大栈数据结构,既支持栈操作,又支持查找栈中最大元素。
实现 MaxStack 类:
MaxStack() 初始化栈对象
void push(int x) 将元素 x 压入栈中。
int pop() 移除栈顶元素并返回这个元素。
int top() 返回栈顶元素,无需移除。
int peekMax() 检索并返回栈中最大元素,无需移除。
int popMax() 检索并返...
2020-01-23 02:09:32 |
Algorithm
leetcode 681 最近时刻 next-closest-time [Medium]
题目
681. 最近时刻
给定一个”HH:MM”格式的时间,重复使用这些数字,返回下一个最近的时间。每个数字可以被重复使用任意次。
保证输入的时间都是有效的。例如,”01:34”,”12:09” 都是有效的,而”1:34”,”12:9”都不是有效的时间。
例1:
输入: “19:34”
输出: “19:39”
解释:
从1,9,3,4中选出的下一个最近的时间是19:39,它是...
2020-01-23 02:09:32 |
Algorithm
leetcode 681 最近时刻 next-closest-time [Medium]
题目
681. 最近时刻
给定一个”HH:MM”格式的时间,重复使用这些数字,返回下一个最近的时间。每个数字可以被重复使用任意次。
保证输入的时间都是有效的。例如,”01:34”,”12:09” 都是有效的,而”1:34”,”12:9”都不是有效的时间。
例1:
输入: “19:34”
输出: “19:39”
解释:
从1,9,3,4中选出的下一个最近的时间是19:39,它是...
2020-01-23 02:09:32 |
Algorithm