注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

Bioinformatics home

 
 
 

日志

 
 

估计理论  

2010-10-22 23:27:19|  分类: 生物统计 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

估计理论是统计学信号处理中的一个分支,主要是通过测量或经验数据来估计概率分布参数的数值。这些参数描述了实质情况或实际对象,它们能够回答估计函数提出的问题。

例如,估计投票人总体中,给特定候选人投票的人的比例。这个比例是一个不可观测的参数,因为投票人总体很大;估计值建立在投票者的一个小的随机采样上。

又如,雷达的目的是物体(飞机、船等)的定位。这种定位是通过分析收到的回声(回波)来实现的,定位提出的问题是“飞机在哪里?”为了回答这个问题,必须估计飞机到雷达之间的距离。如果雷达的绝对位置是已知的,那么飞机的绝对位置也是可以确定的。

在估计理论中,通常假定信息隐藏在包含噪声信号中。噪声增加了不确定性,如果没有不确定性,那么也就没有必要估计了。


目录
[隐藏]
1 使用估计理论的领域
2 估计过程
3 基础
4 估计函数(估计子)
5 例子: 高斯白噪声中的直流增益
5.1 最大似然估计
5.2 Cramér-Rao 下限
6 相关书籍
7 参见
//
[编辑] 使用估计理论的领域

有非常多的领域使用参数估计理论。这些领域包括(当然不局限于以下列出的领域):


信号处理
X射线断层成像
脑电图
心电图
核磁共振
医学超声波扫描术
雷达声纳地震学——物件的定位
噪声方差
参数化(例如周期图相关图谱)分析
非参数化(例如MUSICRoot-MUSICESPRIT)谱分析
维纳滤波
粒子过滤器
临床试验
民意调查
质量控制
通讯
信道参数
DC增益(请看下边的例子)
控制理论
卡尔曼滤波
随时间改变的执行器(英文:Actuator)
网络入侵侦查系统

测量参数包含噪声或者其他不确定性。通过统计概率,可以求得最优化的解,用来从数据中提取尽可能多的信息


[编辑] 估计过程

估计理论的全部目的都是获取一个估计函数,最好是一个可以实现的估计函数。估计函数输入测量数据,输出相应参数的估计。

我们通常希望估计函数能最优,一个最优的估计意味着所有的信息都被提取出来了;如果还有还有信息没有提取出来,那就意味着它不是最优的。

一般来说,求估计函数需要三步:


为了实现一个预测单个或者多个参数的所期望的估计器,首先需要确定系统的模型。这个模型需要将需要建模的过程以及不确定性和和噪声融合到一起,这个模型将描述参数应用领域的物理场景。
在确定模型之后,需要确定估计器的限制条件。这些限制条件可以通过如Cramér-Rao不等式这样的方法找到。
下一步,需要开发一个估计器或者应用一个已知的对于模型有效的估计器。这个估计器需要根据限制条件进行测试以确定它是否是最优估计器,如果是的话,它就是最好的估计器。
最后,在估计器上运行试验或者仿真以测试性能。

当实现一个估计器之后,实际的数据有可能证明推导出估计器的模型是不正确的,这样的话就需要重复上面的过程重新寻找估计器。不能实现的估计器需要抛弃,然后开始一个新的过程。总的来说,估计器根据实际测量的数据预测物理模型的参数。


[编辑] 基础

为了建立一个模型,需要知道几项统计“因素”。为了保证预测在数学上是可以追踪的而不是仅仅基于“内心感受”来说这是必需的。

第一个是从大小为 N 的随机矢量中取出的统计采样,将它们放到一个矢量中,

.

第二,有相应的 M 参数

,

它需要根据概率密度函数(pdf)或者概率聚集函数(:en:probability mass function)(pmf)建立

p(mathbf{x} | mathbf{theta}).

参数本身还可能有一个概率分布(Bayesian statistics),需要定义epistemic probability

pi( mathbf{theta}).

模型形成之后的目标就是预测参数,通常表示为 hat{mathbf{theta}},其中“hat”表示预测值。

一个普通的估计器是最小均方误差(MMSE)估计器,它利用了参数估计值与实际值之间的误差

作为优化的基础。在最小均方误差估计器中误差进行取平方、最小化。


[编辑] 估计函数(估计子)

以下是一些相关的估计函数以及相关的主题


最大似然估计(Maximum likelihood estimation,简称MLE)
矩估计(Method of moments estimators,简称MME)
Cramér-Rao不等式
最小均方差(Minimum mean squared error,简称MMSE)
最大后验概率(Maximum a posteriori probability,简称MAP)
最小方差非偏估计(Minimum variance unbiased estimator,简称MVUE)
最佳线性非偏估计(BLUE)
非偏估计,见偏差 (统计学)。
Particle filter
Markov chain Monte Carlo,简称MCMC
卡尔曼滤波
维纳滤波
[编辑] 例子: 高斯白噪声中的直流增益

让我们来看一个接收到的 N 个独立采样点离散信号 x[n] , 它由一个直流增益 A 和已知方差为 σ2 (例如,mathcal{N}(0, sigma^2))的叠加白噪声 w[n] 组成。

由于方差已经知道,所以仅有的未知参数就是 A。

于是信号的模型是

两个可能的估计器是:



它是采样平均

这两个估计器都有一个平均值 A,这可以通过代如每个估计器的期望得到

 mathrm{E}left[ hat{A}_2

在这一点上,这两个估计器看起来是一样的。但是,当比较方差部分的时候它们之间的不同就很明显了。

 mathrm{var} left( hat{A}_2

看起来采样平均是一个更好的估计器,因为方差部分 N to infty 趋向于 0。


[编辑] 最大似然估计

使用最大似然估计继续上面的例子,噪声在一个采样点 w[n] 的概率密度函数(pdf)是

这样 x[n] 的概率变为(x[n] 可以认为是 mathcal{N}(A, sigma^2)

由于相互独立,mathbf{x} 的概率变为

概率密度函数取自然对数

于是最大似然估计器是

对数最大似然函数取一阶 导数

并且将它赋值为0

这就得到最大似然估计器

它是一个简单的采样平均。

从这个例子中,我们发现对于带有固定未知直流增益的AWGN的 N 个采样点来说采样平均就是最大似然估计器。


[编辑] Cramér-Rao 下限

为了找到采样平均估计器的Cramér-Rao下限(CRLB),需要找到Fisher information数

从上面得到

取二阶导数

发现负的期望值是无关紧要的(trivial),因为它现在是一个确定的常数

 -mathrm{E} left[  frac{partial^2}{partial A^2} ln p(mathbf{x};

最后,将Fisher information代入

 mathrm{var}left( hat{A} right) geq frac{1}{mathcal{I}}

得到

 mathrm{var}left( hat{A} right) geq frac{sigma^2}{N}

将这个值与前面确定的采样平均的变化比较显示对于所有的 N 和 A 来说采样平均都是等于Cramér-Rao下限。

采样平均除了是最大似然估计器之外还是最小变化无偏估计器(MVUE)。

这个直流增益 + WGN 的例子是 Kay 的 统计信号处理基础中一个例子的再现。

  评论这张
 
阅读(921)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017