什么是熵 | 集智百科

　　目录

　　一、什么是熵？

　　二、熵增原理

　　三、熵与信息论

　　四、知名学者推介

　　五、相关资源推介

　　六、集智百科词条志愿者招募

　　一、什么是熵？

　　我们小时候玩玩具，如果没有家长管着，一定是搅得屋子里天翻地覆、无从下脚，并且乐此不疲。如果把玩具看作元素，所有的玩具看作一个系统，则系统从整齐变成了混乱。这时候，要想找到某个心爱的玩具就变得非常困难，因为它可能出现在任何角落。这个场景就蕴含了熵增加的原理。

　　通俗地来讲，熵表示一个系统内所有元素的状态总和。对于同一个系统来说，“有序”反映了各元素所处的状态相对简单，容易被掌握，熵较低。反之，“无序”则反映了各元素所处的状态复杂，不易掌握，熵较高。

　　下图体现了类似“玩玩具”的过程：当分子排列整齐时，能够轻松定位每个分子。而他们散得越开，越难把握分子的位置和运动状态。这是个熵增加的过程。

　　

　　图1：熵增加的过程，分子排列从有序变成无序

　　熵最初在热力学中被提出，其概念来源于克劳修斯对卡诺热机的研究。后来，熵在信息论、天体物理、生命科学、计算机科学等领域均有重要应用。在不同的学科中，根据具体情境，引申出了相适应的定义。可以说，在各个领域，熵都是一个必备知识点。

　　二、熵增原理

　　现实生活中，为了能喝到温水，我们会把开水兑到凉白开里，这样整杯水都是温的。但是，为什么不会发生“热者更热，凉者更凉”的现象呢？这不违反热力学第一定律——能量守恒，因为热量只是从凉的地方转移到热的地方，并无增减。如果能够自发地“热者更热，凉者更凉”，我们完全可以使海水变凉一小点儿，然后得到用之不竭的能量。

　　

　　图2：热量从温度高的地方转移到温度低的地方

　　理想很丰满，现实很骨感。热力学第二定律堵死了这条路。该定律指出：热量无法自发地从低温物体转移到高温物体。这是为什么呢？玻尔兹曼从微观分子层面给出了解释：高温物体分子动能较大，低温物体分子动能较小。他们相互接触时产生碰撞，在所有碰撞后产生的可能结果中，绝大部分是分子间动能趋向一致，极少数是分子间动能差异性更大。所以理论上来说，是存在“热者更热，凉者更凉”的可能性的，但是发生的概率小到完全可以忽略不计，现实生活中无法发生。

　　上述过程经简单物理推导可知，系统的熵是增加的。由此引出热力学第二定律的另一表述：孤立系统（不与外界进行能量交换，例如“保温杯”）的熵永远不会自发减少。熵在可逆过程中不变，在不可逆过程中增加。这就是“熵增原理”。根据熵增原理，宇宙作为一个孤立系统，随着时间推移，熵会增加。即宇宙中所有元素的状态总体上会更加复杂。

　　

　　图3：宇宙中的熵不断增加

　　注：热力学第三定律——绝对零度不可达到

　　三、熵与信息论

　　1948年，香农将热力学中的熵引入到信息论。在信息论中，熵用来测量事件结果的不确定性。例如，抛一枚正反面相同的硬币，那么结果是确定的，熵为零。抛一枚正常硬币，结果可能为正或为负，具有不确定性，熵大于零。如果将硬币正反面当做信息比特 (bit) “1”和“0”的话，那么比特位数越大，包含信息量越大，不确定性越高，熵越大。

　　

　　图4：抛两枚硬币所产生结果的熵

　　四、知名学者简介

　　鲁道夫·尤利乌斯·埃马努埃尔·克劳修斯 Rudolf Julius Emanuel Clausius

　　

　　图5：Rudolf Julius Emanuel Clausius

　　德国物理学家和数学家，热力学的主要奠基人之一。他重新陈述了萨迪·卡诺的定律（卡诺循环），把热理论推至一个更真实更健全的基础。他最重要的论文于1850年发表，该论文首次明确指出热力学第二定律的基本概念。他还于1865年引进了熵的概念。

　　路德维希·玻尔兹曼 Ludwig Edward Boltzmann

　　

　　图6：Boltzmann

　　奥地利物理学家、哲学家，热力学和统计物理学的奠基人之一。他最伟大的功绩是发展了统计力学——通过原子的性质（原子量，电荷量等）来解释和预测物质的物理性质（热传导，扩散等），并且从统计意义对热力学第二定律进行了阐释。

　　克劳德·艾尔伍德·香农 Claude Elwood Shannon

　　图6：Claude Elwood Shannon

　　美国数学家、电子工程师和密码学家，信息论的创始人，提出了信息熵的概念。1948年发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。

　　信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。该文章用通俗易懂的语言系统地梳理一下有关熵的概念，有助于初学者入门。

信息熵及其相关概念 http://33s.co/mwxW

　　熵被认 为一种悲观主义的世界观，而熵增定律也被认为是令全宇宙都绝望的定律。 该文章介绍了其令人绝望的原因。

最令人绝望物理定律“熵增原理”：生命以负熵为食，最终走向消亡 https://xw.qq.com/amphtml/20190810A03VE1/20190810A03VE100

　　究竟什么又是熵？为什么它总是增加的？为什么蛋壳或者酒杯会破碎？宇宙的起源如何，又将如何结束？为什么我们的过去与未来如此不同？本文作者用农场中的绵羊，对这些问题一一做了有趣的解答。

　　六、百科项目志愿者招募

　　作为集智百科项目团队的成员，本文内容由张祺、刘佩佩、刘世康、李媛翯参与贡献。我们也为每位作者和志愿者准备了专属简介和个人集智百科主页，更多信息可以访问其集智百科个人主页:

　　以上内容都是我们做这项目的起点，作为来自不同学科和领域的志愿者，我们建立起一个有效的百科团队，分配有审校、翻译、编辑、宣传等工作。我们秉持：知识从我而来，问题到我为止的信念，认真负责编撰每一个词条。

　　在这里从复杂性知识出发与伙伴同行，同时我们希望有更多志愿者加入这个团队，使百科词条内容得到扩充，并为每位志愿者提供相应奖励与资源建立个人主页与贡献记录，使其能够继续探索复杂世界。