1948年7月和10月,克劳德·E·香农在《贝尔系统技术杂志》上发表了他的经典论文《传播的数学理论》,这是建立信息论学科并使其立即受到全世界关注的决定性事件。
香农于1944年底在贝尔实验室基本完成了这篇革命性和开创性的论文,在这篇论文中,香农首次将通信定性和定量模型作为信息论基础的统计过程,他在开篇便这样断言到:
“通信的基本问题就是,在一点重新准确或近似地再现在另一点所选择的信息。”
随着这一名言而来的概念理论有
一些最古老的电子通信方法隐含地使用了许多后来在信息论中得到量化的思想。从19世纪30年代开始的现代电报使用莫尔斯电码,其中较常见的字母 (如“E”,用一个“点”表示)比不太常见的字母(如“J”,用一个“点”和后面跟着的三个“破折号”表示)传输得更快。以这种方式编码信息的想法是无损数据压缩的基础。一百年后,调频表明可以只将带宽看作另一个自由度。现在主要将声码器看作音频工程的珍宝,它最初设计于1939年,使用的带宽比原始信息的带宽要少,这与现在手机牺牲带宽换语音质量的方式非常相似。
香农工作最直接的前提是20世纪20年代哈利·奈奎斯特和 拉尔夫·哈特利发表的两篇论文,当香农在20世纪40年代初来到贝尔实验室时,两人都是贝尔实验室的研究带头人。
奈奎斯特1924年发表的论文《影响电报速度的某些因素》,主要侧重于电报信号一些具体工程方面的内容。但一个更理论化的部分讨论了“智能”的量化和通信系统传输“线路速度”,并给出了两者之间的关系
其中W为智能传输速度,m为每个时间步长可供选择的不同电压等级数,K为常数。
哈特利1928年发表的论文简称《传播信息》,更进一步使用信息(在技术意义上)一词进一步明确,并明确指出这些信息在这种情况下是一个可测量的量,仅反映接收器区分这一符号序列的能力,而不是任何其他符号——无论符号可能代表什么相关含义或者是其他心理或语义方面的内容。他将这些信息量化为公式
其中S为可能的符号数量,n为传输中的符号数量。因此,信息的自然单位是十进制数字,后来为了纪念哈特利,将其重新命名为信息单位、信息尺度或信息度量。哈特利信息H0仍然用作可能性总数的对数的量。
1940年,艾伦·图灵引入了一个类似log10概率单位、禁令及其派生单位即 (十分之一禁令),作为对德国第二次世界大战中破解谜式密码机统计分析的一部分。解释量表示可能性总数(类似于哈特利信息的变化)对数的减少;也代表了可以从一组观察结果中推导出一种假设相对于另一种假设的对数似然比(或证据权重的变化)。证据权重的预期变化相当于后来被称为Kullback歧视信息。
类似的对数单位10 概率 禁令,及其派生单元 deciban (禁令的十分之一),由 1940年,作为对德国第二次世界大战爆发的统计分析的一部分 谜 塞弗斯。这 决定年龄 表示可能性总数的减少(对数)(类似于哈特利信息的变化);还有 对数似然比 (或 证据的分量)这可以从一组观察中推断出一个假设优于另一个假设。证据权重的预期变化相当于后来所说的库尔巴克 歧视信息。
但这一概念的基础仍然是相等的先验概率,而不是不等概率事件的信息内容;关于这些不同结果的传达也没有任何潜在的问题。
众所周知一个概率不等的领域是统计力学,路德维希·玻尔兹曼在1872年的H定理中首次引入了这个量
作为一种在类似粒子的气体中可用于单个粒子可用状态的扩展宽度的度量,其中f表示每种可能状态的相对频率分布。玻尔兹曼在数学上论证了粒子之间的碰撞效应会导致H函数从任何初始配置不可避免地增大,直至达到平衡;并进一步将其确定为克劳修斯宏观热力学熵的微观理论基础。
玻尔兹曼的定义很快被美国数学物理学家J.威拉德·吉布斯重新改写为统计力学熵的通用公式,不再需要相同且不相互作用的粒子,而是基于整个系统的完整微观状态i的概率分布pi:
玻尔兹曼的定义很快被美国数学物理学家改写 转化为统计-机械熵的通用公式,不再需要相同和不相互作用的粒子,而是基于概率分布 pi 对于完整的微观状态 i 在整个系统中:
可以发现,来自统计力学的这个(吉布斯)熵直接对应于克劳修斯的经典热力学定义。
香农本人显然并没有特别意识到他的新测量方法与早期热力学研究之间的密切相似之处,但是约翰·冯·诺依曼却意识到了。据说,当香农正在思考如何称呼他的新度量方法,并担心“信息”一词已经被过度使用的时候,冯•诺依曼坚定地告诉他:“你应该把它称为熵,原因有两个。首先,你的不确定性函数在统计力学中已经用过这个名字,所以它已经有了一个名字。第二,更重要的是,没有人真正知道熵到底是什么,所以在辩论中你永远都有优势。”
香农1948年在《贝尔系统技术期刊》上发表的论文《通信的数学理论》是我们今天所知的信息论的基础。从那时起,这一理论得到了许多发展和应用,这使得许多现代数据通信和存储设备,如CD-ROM和手机成为可能。
重要的后续进展在下列信息论时间线里,包括:
暂无