博文
我对熵的认识进程之一
||
我对熵的认识进程之一
2008-4-20 张学文
序
我1957年从大学毕业就到气象台当了20多年的气象预报员。天气的难以预报，曾经让我学习、探索过各样的理论。“熵”就是在这个探索中的重要着力点。从1968到2004，我对熵的思考、探索是我的学术思考的主轴线。我写的书，记录了我探索熵概念、熵原理、熵的应用以至我对这个认识体系的改进。
学不懂的热力学熵和容易理解的信息熵
中学时代我喜欢物理学、曾经立志要学懂最深的物理知识。进了北京大学物理学的气象专业，曾经在不同的课程了学到“熵”、热力学第二定律。我学习努力，但是我始终不能理解什么是熵。毕业时我曾经对自己说，由于难把握，以后工作中我要对熵敬而远之。我的另外一个失败是概率论学习。1957年我带着回避“熵”遗憾，糊涂的概率论知识离开了大学。
1964年我有幸读到林学院编写的一本关于概率的教科书，它通俗易懂，使我对概率、概率分布、统计检验这些概念的理解加深了很多。我喜欢上了概率论与统计，认为它可以帮助气象预报问题。如何把概率知识与气象预报结合起来是我热心考虑的问题。
1968年文化大革命在继续，可我读了苏联学者雅格洛姆写的《概率与信息》，这个中级读物。它使我沿着概率的思路认识到信息论里面的信息熵是什么。我发现只要你对概率以及概率分布的概念把握住了，针对某具体的概率分布，你就可以计算出来一个“数”，这个数在信息论里被称为信息熵。
例如一枚硬币掉到桌子上，正、反面的出现概率分别是 0.5，0.5，那么这个试验的结局的不确定性，即信息熵，就＝－0.5log0.5-0.5log0.5。如果这里的对数是以2为底的，那么计算数值就是1比特。它就是掷一次硬币的结局的不确定性（信息熵）的值（这个知识后来与计算机领域的内存大小等信息计算是连贯的）。
如果面对一个概率分布是高斯正态分布，信息论告诉我们其熵＝ln（标准差）+（一个常数）。从服从正态分布的总体中抽一个个体，其结局的不确定性就用这个公式计算。
类似地，对于每个常见的概率分布函数，都可以得到对应的熵值（是统计参数的函数）。于是只要你准确的认识概率分布，信息论里含义为抽样试验结局的不确定性的信息熵的值也就知道了。
以上就是我从概率-信息论的角度认识熵的过程。我感到这种信息熵比热力学熵好理解。
在这个认识下我通过自学，结合天气和气候问题写成了《气象预报问题的信息分析》一书。该阶段我认识到对资料（含有信息）的任何“变换”不能提高它含有的信息量，搞不好还损失。我认识到过去的某些所谓长期气候预报的做法，几乎是自欺欺人。从信息论角度可以得到很多对“预告”问题的信息论限制。变换不能提高信息量与永动机不存在、物质不灭几乎是三角对称的公理。
（之二，之三待续）
https://blog.sciencenet.cn/blog-2024-22323.html
上一篇：我们应当表态！
下一篇：我对熵的认识进程之二
扫一扫，分享此博文
全部作者的精选博文
- • 漫话空中水
- • 大规模调水对降水的影响的旁例分析
- • 感谢许局长为我的书写了序言
- • 乌鲁木齐地震了！
- • 悼丁裕国教授!
- • 我的同学因为天气预报错误而判刑！