我对熵的认识进程之二

张学文2008-4-21

――斩乱麻问题—玻尔兹曼统计

 

在学习信息熵的时候还有个重要认识：在特定的约束条件只有特定的概率分布才能使信息熵最大。如在标准差确定的情况下只有正态分布才能使熵达到最大。

如果我们反过来考虑问题：如果认为熵最大是个合理的要求、假设（或者说客观事物服从熵最大原理），那么我们就可以根据熵最大和该系统可能具有的约束条件反推出其概率分布必然是某某分布函数。

 

这个话过分抽象，而斩乱麻问题是好例子：长度为L的一条绳子被随机地切了 N刀，于是得到了 N+1段线头。问，不同长度的线头各有多少？

显然本问题中所有线头的长度的合计值等于L，而它也就是一个合理的约束条件。另外不同长度线头占的不同的百分比就对应一个分布函数，如果我们认为随机切割自然得到了最混乱的结果，即熵最大（最混乱）。于是我们就可以利用熵最大和合计值为常数而反求这个未知的概率分布函数。经过不难的反算，我们得到线头应当服从负指数分布。

我们可以通过一个数值试验而检验这个源于熵最大而得到的函数。结果它们是一致的。这个例子给我深刻的印象。

用熵最大并且配合不同的约束条件，可以求得到对应的函数（拉哥朗日方法），这也让我激动。

在大学我没有学过统计力学，工作以后翻那些书不得其要领，倒是这个例子使我反过头来认识了哪里的所谓波尔兹曼分布与斩乱麻的例子类似（把能量固定改为绳子长度固定）。

这样我就从后门进入了统计力学的园地。有限的能量在很多分子中的不同分布与有限的长度在很多线头上的分布的类似性，使我认识了波尔兹曼分布以及热力学熵的含义。信息论的熵最大与波尔兹曼分布的哪套计算思路融合到一起使我对它们很信任。这个认识也帮助我看到信息熵和热力学熵的一致性。

 

通过以上的思想认识，我感到信息熵公式计算出来的量，固然在信息论哪里应当理解为抽样结局的不确定程度，但是在斩乱麻问题等场合，我们固然可以故弄玄虚的把它神化为用了“熵原理”，但是也可以更通俗的把它称为自然过程中事物的复杂程度就自动最混乱，确实我们总不能要求快刀斩乱麻之后，各个麻绳线段都有相同的长度。线段长度自动达到最混乱是个合理考虑、认定、判定。

于是我反复宣传一个观点熵就是复杂程度！客观事物的状态的丰富程度。

 

在这些认识的背景下我思考着气象学中的分布函数，从资料中寻找着气象学中这样那样的分布函数，可能找到了30个重要的分布。并且试图用熵最大和合理的约束条件，从熵最大（我所谓的复杂程度最大、最复杂原理）理论上得到理论函数。如果它们一致，我就认为是熵原理在气象学中的成功应用。

这些知识汇集在我们写的《熵气象学》一书和发表的一些文章中。

在写《熵气象学》时我们已经初步整理出了概率论中经常用的概率分布公式是如何在特定的约束条件配合下利用熵最大而导得的。我认为这个认识把概率论中的常用概率分布公式从分散存在变成了一个统一的从熵最大引出的知识系列。该书最后专门给了这个表。这是综合多个概率分布函数的好思路。

（之三待续）

 

转载本文请联系原作者获取授权，同时请注明本文来自张学文科学网博客。
链接地址：https://blog.sciencenet.cn/blog-2024-22440.html

上一篇：我对熵的认识进程之一
下一篇：我对熵的认识进程之三