• EM Algorithm 最大期望算法(Expectation Maximization)
  前言 EM 算法的讲解的内容包括以下几个方面： 1、最大似然估计 2、K-means算法 3、EM算法 4、GMM算法 EM算法本质是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。 1、最大似然估计 MLE 在求解线性模型的过程中，我们用到了最大似然估计(MLE)的思想。 EM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计...
  2020-01-28 02:09:32 | Math
• 朴素贝叶斯算法
  朴素贝叶斯 朴素贝叶斯（Naive Bayes）是一种简单的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。 很多教材都从这些案例出发，本文就不重复这些内容了，而把重点放在理论推导（其实很浅显，别被“理论”吓到），三种常用模型及其编码实现（Python）。 如果你对理论推导过程不感兴趣，可以直接逃到三种常用模型及编码实现部分，但我建议你还是看看理论基础部分。 朴素贝...
  2020-01-28 02:09:32 | Math
• 抽样方法
  背景 给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。 前面介绍过一些随机采样算法（如拒绝采样、重要性采样）可以产生服从特定分布的样本，但是这些采样算法存在一些缺陷（如难以选取合适的建议分布，只适合一元随机变量等）。 下面将介绍一种更有效的随机变量采样方法：MCMC 和 Gibbs采样，这两种采样方法不仅效率更高，而且适用于多元随机变量的采样。 随机模拟 随机模拟也可...
  2020-01-28 02:09:32 | Math
• MCMC 蒙特卡罗马尔科夫算法 Metropolis–Hastings + Gibbs 采样
  MCMC 算法 前面学习了 马尔科夫 和 蒙特卡罗算法。 蒙特卡罗的核心是寻找一个随机的序列，那么二者结合会有怎样的火花呢？ 从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。 背景 给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。 前面介绍过一...
  2020-01-28 02:09:32 | Math
• 自然对数(Natural logarithm) e 的理解
  自然对数 自然对数是以常数e为底数的对数，记作lnN（N>0）。 在物理学，生物学等自然科学中有重要的意义，一般表示方法为lnx。 数学中也常见以logx表示自然对数。 什么是e？ 它说，什么是e？ 简单说，e 就是增长的极限。 概念 自然对数的底e是由一个重要极限给出的。 我们定义：当n趋于无穷大时， . e是一个无限不循环小数，其值约等于2.718281828...
  2020-01-28 02:09:32 | Math
• 蒙特卡罗方法 Monte Carlo method
  蒙特·卡罗方法（Monte Carlo method） 蒙特·卡罗方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。 是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。与它对应的是确定性算法。 蒙特·卡罗方法在金融工程学，宏观经济学，计算...
  2020-01-28 02:09:32 | Math
• 矩阵乘法简介 Matrix multiplication
  矩阵乘法 矩阵相乘最重要的方法是一般矩阵乘积。 它只有在第一个矩阵的列数（column）和第二个矩阵的行数（row）相同时才有意义。 一般单指矩阵乘积时，指的便是一般矩阵乘积。 一个m×n的矩阵就是m×n个数排成m行n列的一个数阵。 由于它把许多数据紧凑地集中到了一起，所以有时候可以简便地表示一些复杂的模型，如电力系统网络模型。 定义 基本性质 乘法结合律...
  2020-01-28 02:09:32 | Math
• 马尔科夫链
  马尔科夫链 马尔可夫链（Markov Chain, MC）是概率论和数理统计中具有马尔可夫性质（Markov property）且存在于离散的指数集（index set）和状态空间（state space）内的随机过程（stochastic process。 适用于连续指数集的马尔可夫链被称为马尔可夫过程（Markov process），但有时也被视为马尔可夫链的子集，即连续时间马尔可夫...
  2020-01-28 02:09:32 | Math