马尔可夫链的发展与应用
摘 要
在自然界中，常常用一个或几个随机变量来描述某些随机现象，从而研究它们的概率规律。从几何上看，就是把某些随机现象作为直线上的随机点或者有限维空间上的随机点来研究。对于实际问题中的更复杂的随机现象，对于一个不断随机变化的过程，用这样的研究方法显得不够了，往往需要用一族（无穷多个）随机变量来刻画这样一些随机现象，或者把它们作为无穷维空间上的随机点（随机函数）来研究。某些现象，在发生之前只能知道该现象的各种可能性的发生结果，但是却无法确认具体将发生哪一个结果，这就是随机现象。马尔可夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔可夫过程。马尔可夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔可夫过程为马尔可夫链。马尔可夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。
关键词 概率论 随机过程 马尔可夫链
一、 马尔可夫过程简介
马尔可夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔可夫过程。马尔可夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔可夫过程为马尔可夫链。马尔可夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。
二、 马尔可夫过程的发展
1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。出于扩大极限定理应用范围的目的，马尔可夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔可夫链的著名概率模型。也是在这篇论文里，马尔可夫建立了这种链的大数定律。
人们在实际中常遇到具有下述特性的随机过程：在已知它所处的状态的条件下，它未来的演变不依赖于它以往的演变。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。
荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用
马尔可夫链的发展与应用
摘 要
在自然界中，常常用一个或几个随机变量来描述某些随机现象，从而研究它们的概率规律。从几何上看，就是把某些随机现象作为直线上的随机点或者有限维空间上的随机点来研究。对于实际问题中的更复杂的随机现象，对于一个不断随机变化的过程，用这样的研究方法显得不够了，往往需要用一族（无穷多个）随机变量来刻画这样一些随机现象，或者把它们作为无穷维空间上的随机点（随机函数）来研究。某些现象，在发生之前只能知道该现象的各种可能性的发生结果，但是却无法确认具体将发生哪一个结果，这就是随机现象。马尔可夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔可夫过程。马尔可夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔可夫过程为马尔可夫链。马尔可夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。
关键词 概率论 随机过程 马尔可夫链
一、 马尔可夫过程简介
马尔可夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔可夫过程。马尔可夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔可夫过程为马尔可夫链。马尔可夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。
二、 马尔可夫过程的发展
1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。出于扩大极限定理应用范围的目的，马尔可夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔可夫链的著名概率模型。也是在这篇论文里，马尔可夫建立了这种链的大数定律。
人们在实际中常遇到具有下述特性的随机过程：在已知它所处的状态的条件下，它未来的演变不依赖于它以往的演变。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。
荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用