宇宙万物的基本单位是信息。信息，指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。信息论创始人香农说："信息是用来消除随机不确定性的东西"。
什么是信息？传闻，当年哥伦布首次登陆美洲大陆的时候，印第安人看不见近在眼前的帆船，因为印第安人从来没有见过帆船，没有帆船的概念和逻辑，于是视而不见。传闻当然不可信，但这揭示了信息的神秘性，信息貌似是一种相对的变化，也就是说，未对既有事实发生重构的信息，并不能被我们获取。
信息到底是什么？例如我们看到一个图像，通过眼睛接收，传递至大脑，神经网络会发生相应的变化，从而获取图形的信息。通过实验研究发现，神经兴奋网络与图形大致吻合。
神经兴奋网络 获取图形的信息正好是兴奋神经元的排列组合，例如电脑数据信号就是基本二进制单位01的组合，一个二进制波形（码元）的信息量等于1bit（比特）。如果把信息分解成基本单位，那么信息就是信息量的排列组合，对我们而言，是一种确定性。为了描述信息量，我们引入了熵的概念。 熵是一种宏观的概念！提到熵，必然引出信息熵和热力学熵，二者本质一样。 信息熵的定义：S=∑ p(x) lin 1/p(x)，其中 p(x)是系统处于状态x时的概率，1/p(x)衡量状态x的信息量。 热力学熵的定义：S=klinΩ，其中k是玻尔兹曼常数，Ω则为系统宏观状态中所包含的微观状态总数。一般情况下，热力学熵考虑的是微观状态等概率的情形，即处于每个微观状态的概率为1/Ω，若不是等概率的，则形式与信息熵完全一致。 为什么熵要取对数？凡是变化与自身相关的量通常是自然常数e的指数形式。
例如大家熟知的衰变律：放射性元素的数量随时间以指数规律衰减。对于放射性元素，在dt 时间内衰变的原子数dN与自身元素数量N和时间dt乘积正相关，dN=-λNdt，其中λ为衰变系数。设t=0时刻的放射性元素数量为N0，则衰变律为N=N0e^-λt。
同理，微观状态变化量（或信息变化量）dN与自身微观状态量（或信息量）N和熵变dS乘积正相关，dN=λNdS，故微观状态量（或信息量）N=N0e^λS，故熵是取状态量的对数关系。
世界的意义在于世界之外。——维特根斯坦《逻辑哲学论》 明确了信息熵的理论概念，仍然不足以理解信息熵的意义？信息的意义在于信息之外，其神秘面纱需要我们再一次揭开。 |
