系统论、控制论和信息论简介

系统论、控制论和信息论

是二十世纪四十年代先后创立并获得迅猛发展的三门系统理论的分支学科。虽然它们仅有半个世纪，但在系统科学领域中已是资深望重的元老，合称“老三论”。人们摘取了这三论的英文名字的第一个字母，把它们称之为SCI论。

耗散结构论、协同论、突变论是二十世纪七十年代以来陆续确立并获得极快进展的三门系统理论的分支学科。它们虽然时间不长，却已是系统科学领域中年少有为的成员，故合称“新三论”，也称为DSC论。

一般系统论是研究系统的一般模式，结构和规律的学问，它研究各种系统的共同特征，用数学方法定量地描述其功能，寻求并确立适用于一切系统的原理、原则和数学模型，是具有逻辑和数学性质的一门科学。

控制论是研究动物(包括人类)和机器内部的控制与通信的一般规律的学科,着重于研究过程中的数学关系。

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

系统论是研究系统的结构、特点、行为、动态、原则、规律以及系统间的联系，并对其功能进行数学描述的新兴学科。系统论的基本思想是把研究和处理的对象看作一个整体系统来对待。系统论的主要任务就是以系统为对象，从整体出发来研究系统整体和组成系统整体各要素的相互关系，从本质上说明其结构、功能、行为和动态，以把握系统整体，达到最优的目标。

系统思想源远流长，但作为一门科学的系统论，人们公认是美籍奥地利人、理论生物学家L.V.贝塔朗菲（L.Von.Bertalanffy）创立的。

他在1932年发表“抗体系统论”，提出了系统论的思想。1937年提出了一般系统论原理，奠定了这门科学的理论基础。但是他的论文《关于一般系统论》，到1945年才公开发表，他的理论到1948年在美国再次讲授“一般系统论”时，才得到学术界的重视。确立这门科学学术地位的是1968年贝塔朗菲发表的专著：《一般系统理论基础、发展和应用》(《GeneralSystemTheory;Foundations,Development, Applications》）,该书被公认为是这门学科的代表作。

系统一词，来源于古希腊语，是由部分构成整体的意思。今天人们从各种角度上研究系统，对系统下的定义不下几十种。如说“系统是诸元素及其顺常行为的给定集合”，“系统是有组织的和被组织化的全体”，“系统是有联系的物质和过程的集合”，“系统是许多要素保持有机的秩序，向同一目的行动的东西”，等等。

系统论的8大基本原理

1，系统的整体性原理

2，系统层次性原理

3，系统开放性原理

4，系统的目的性原理

5，系统突变性原理

6，系统稳定性原理

7，系统自组织原理

8，系统相似性原理

控制论

自从1948 年诺伯特·维纳发表了著名的《控制论——关于在动物和机器中控制和通讯的科学》一书以来，控制论的思想和方法已经渗透到了几乎所有的自然科学和社会科学领域。维纳把控制论看作是一门研究机器、生命社会中控制和通讯的一般规律的科学，是研究动态系统在变的环境条件下如何保持平衡状态或稳定状态的科学。他特意创造“Cybernetics”这个英语新词来命名这门科学。“控制论”一词最初来源希腊文“mberuhhtz”，原意为“操舵术”，就是掌舵的方法和技术的意思。在柏拉图（古希腊哲学家）的著作中，经常用它来表示管理的艺术。

控制论的发展过程大致分为三个阶段：

20世纪50年代末期以前为第一阶段，称为经典控制论阶段；

50年代末期至70年代初期为第二阶段，称为现代控制论阶段；

70年代初期至现在为第三阶段，称为大系统理论阶段。

信息论

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。信息论是关于信息的理论，应有自己明确的研究对象和适用范围。但从信息论诞生的那时起人们就对它有不同的理解。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

其中

是联合熵(Joint Entropy)，其定义为：

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。

切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。

20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。

1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。

由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。

信息的定义域

信息是确定性的增加----逆Shannon信息定义；

信息是物质、能量、信息的标示----Wiener信息定义的逆;

信息是事物及其属性标识的集合。

研究范围

信息论的研究范围极为广阔。一般把信息论分成三种不同类型：

(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。

(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。

(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。

应用范围

编码学

密码学与密码分析学

数据传输

数据压缩

检测理论

估计理论

政治学（政治沟通）