• 抽样方法
  背景 给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。 前面介绍过一些随机采样算法（如拒绝采样、重要性采样）可以产生服从特定分布的样本，但是这些采样算法存在一些缺陷（如难以选取合适的建议分布，只适合一元随机变量等）。 下面将介绍一种更有效的随机变量采样方法：MCMC 和 Gibbs采样，这两种采样方法不仅效率更高，而且适用于多元随机变量的采样。 随机模拟 随机模拟也可...
  2020-01-28 02:09:32 | Math
• MCMC 蒙特卡罗马尔科夫算法 Metropolis–Hastings + Gibbs 采样
  MCMC 算法 前面学习了 马尔科夫 和 蒙特卡罗算法。 蒙特卡罗的核心是寻找一个随机的序列，那么二者结合会有怎样的火花呢？ 从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。 背景 给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。 前面介绍过一...
  2020-01-28 02:09:32 | Math
• 自然对数(Natural logarithm) e 的理解
  自然对数 自然对数是以常数e为底数的对数，记作lnN（N>0）。 在物理学，生物学等自然科学中有重要的意义，一般表示方法为lnx。 数学中也常见以logx表示自然对数。 什么是e？ 它说，什么是e？ 简单说，e 就是增长的极限。 概念 自然对数的底e是由一个重要极限给出的。 我们定义：当n趋于无穷大时， . e是一个无限不循环小数，其值约等于2.718281828...
  2020-01-28 02:09:32 | Math
• 蒙特卡罗方法 Monte Carlo method
  蒙特·卡罗方法（Monte Carlo method） 蒙特·卡罗方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。 是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。与它对应的是确定性算法。 蒙特·卡罗方法在金融工程学，宏观经济学，计算...
  2020-01-28 02:09:32 | Math
• 矩阵乘法简介 Matrix multiplication
  矩阵乘法 矩阵相乘最重要的方法是一般矩阵乘积。 它只有在第一个矩阵的列数（column）和第二个矩阵的行数（row）相同时才有意义。 一般单指矩阵乘积时，指的便是一般矩阵乘积。 一个m×n的矩阵就是m×n个数排成m行n列的一个数阵。 由于它把许多数据紧凑地集中到了一起，所以有时候可以简便地表示一些复杂的模型，如电力系统网络模型。 定义 基本性质 乘法结合律...
  2020-01-28 02:09:32 | Math
• 马尔科夫链
  马尔科夫链 马尔可夫链（Markov Chain, MC）是概率论和数理统计中具有马尔可夫性质（Markov property）且存在于离散的指数集（index set）和状态空间（state space）内的随机过程（stochastic process。 适用于连续指数集的马尔可夫链被称为马尔可夫过程（Markov process），但有时也被视为马尔可夫链的子集，即连续时间马尔可夫...
  2020-01-28 02:09:32 | Math
• 最大熵和对数线性模型-实现中文词性标注
  上一讲主要内容回顾（Last time）： 基于转换的标注器（Transformation-based tagger） 基于隐马尔科夫模型的标注器（HMM-based tagger） 遗留的内容（Leftovers）: a) 词性分布（POS distribution） i. 在Brown语料库中按歧义程度排列的词型数目（The numbe...
  2020-01-28 02:09:32 | Math
• 隐马尔可夫（HMM）实现中文词性标注 MIT 笔记
  基本介绍 a) 标注问题（Tagging） 　i. 任务（Task）: 在句子中为每个词标上合适的词性（Label each word in a sentence with its appropriate part of speech） 　ii. 输入（Input）: Our enemies are innovative and resourceful , and so are we....
  2020-01-28 02:09:32 | Math