矩阵相乘最重要的方法是一般矩阵乘积。
它只有在第一个矩阵的列数(column)和第二个矩阵的行数(row)相同时才有意义。
一般单指矩阵乘积时,指的便是一般矩阵乘积。
一个m×n的矩阵就是m×n个数排成m行n列的一个数阵。
由于它把许多数据紧凑地集中到了一起,所以有时候可以简便地表示一些复杂的模型,如电力系统网络模型。
定义

矩阵相乘最重要的方法是一般矩阵乘积。
它只有在第一个矩阵的列数(column)和第二个矩阵的行数(row)相同时才有意义。
一般单指矩阵乘积时,指的便是一般矩阵乘积。
一个m×n的矩阵就是m×n个数排成m行n列的一个数阵。
由于它把许多数据紧凑地集中到了一起,所以有时候可以简便地表示一些复杂的模型,如电力系统网络模型。
蒙特·卡罗方法(Monte Carlo method),也称统计模拟方法,是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明,而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。
是指使用随机数(或更常见的伪随机数)来解决很多计算问题的方法。与它对应的是确定性算法。
蒙特·卡罗方法在金融工程学,宏观经济学,计算物理学(如粒子输运计算、量子热力学计算、空气动力学计算)等领域应用广泛。
蒙特卡洛方法的理论基础是大数定律。
大数定律是描述相当多次数重复试验的结果的定律,根据这个定律知道样本数量越多,其平均就越趋近于真实值。
自然对数是以常数e为底数的对数,记作lnN(N>0)。
在物理学,生物学等自然科学中有重要的意义,一般表示方法为lnx。
数学中也常见以logx表示自然对数。
它说,什么是e?
简单说,e 就是增长的极限。
自然对数的底e是由一个重要极限给出的。
我们定义:当n趋于无穷大时,
.
给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。
前面介绍过一些随机采样算法(如拒绝采样、重要性采样)可以产生服从特定分布的样本,但是这些采样算法存在一些缺陷(如难以选取合适的建议分布,只适合一元随机变量等)。
下面将介绍一种更有效的随机变量采样方法:MCMC 和 Gibbs采样,这两种采样方法不仅效率更高,而且适用于多元随机变量的采样。
随机模拟也可以叫做蒙特卡罗模拟(Monte Carlo Simulation)。
这个方法的发展始于20世纪40年代,和原子弹制造的曼哈顿计划密切相关,当时的几个大牛,包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis, 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候,开始使用统计模拟的方法,并在最早的计算机上进行编程实现。
朴素贝叶斯(Naive Bayes)是一种简单的分类算法,它的经典应用案例为人所熟知:文本分类(如垃圾邮件过滤)。
很多教材都从这些案例出发,本文就不重复这些内容了,而把重点放在理论推导(其实很浅显,别被“理论”吓到),三种常用模型及其编码实现(Python)。
如果你对理论推导过程不感兴趣,可以直接逃到三种常用模型及编码实现部分,但我建议你还是看看理论基础部分。
朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法。
这里提到的贝叶斯定理、特征条件独立假设就是朴素贝叶斯的两个重要的理论基础。
EM 算法的讲解的内容包括以下几个方面:
1、最大似然估计
2、K-means算法
3、EM算法
4、GMM算法
EM算法本质是统计学中的一种求解参数的方法,基于这种方法,我们可以求解出很多模型中的参数。
在求解线性模型的过程中,我们用到了最大似然估计(MLE)的思想。
EM算法达到的目的和最大似然估计是一样的,只不过EM算法可以帮助我们去计算一些隐藏变量的参数。
即当极大似然估计无法解决某些问题的时候,我们需要使用EM算法这种迭代算法的思路,不断得逼近最后的参数解。
卡尔曼滤波(Kalman filtering)是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。
由于观测数据中包括系统中的噪声和干扰的影响,所以最优估计也可看作是滤波过程。
斯坦利·施密特(Stanley Schmidt)首次实现了卡尔曼滤波器。卡尔曼在NASA埃姆斯研究中心访问时,发现他的方法对于解决阿波罗计划的轨道预测很有用,后来阿波罗飞船的导航电脑使用了这种滤波器。
关于这种滤波器的论文由Swerling (1958), Kalman (1960)与 Kalman and Bucy (1961)发表。