人類的生存、發(fā)展，除了與外界有物質和能量的交換外還必須有信息的交換。

信息是什么？

《辭?！穼π畔⒌亩x：“信息是指對消息接收者來說預先不知道的報導。”

熵與信息

事實上，信息已成為現代科學技術普遍使用的一個概念。作為日常用語，指音信、消息；作為科學技術用語，可以簡單地理解為消息的接受者預先不知道的報導；作為一個社會概念，信息則是指人類共享的一切知識，或從社會發(fā)展趨勢以及客觀現象中提煉出來的各種信息之總和。

信息是日常生活的常見現象，是事物表現的一種普遍形式。一切事物都會發(fā)出信息，因此說，信息無時不在，無處不有。人類生活在千變萬化的信息之中，因此必須擁有足夠的信息，才能有效地工作和生活。

信息論中的信息是上述各種信息的抽象化和定量化，它同任何意義無關，已不存在諸如有意義或無意義、有無目的等概念。對這種信息的度量，導致了信息熵概念的建立。

信息熵是對信息的量度有關概念：隨機事件—事先不能完全肯定的事件。

幾率—對隨機事件結果的可能性的定量估計。

C.E.shannon引入不確定程度H—如果一個事件（如收到一個信號）有N個等可能性的結局，那么結局未出現前的不確定程度H與N的對數成正比，即 （C為常數）

C.E.Shannon把不確定度稱為信息熵。

信息熵是對信息的量度對N個結局出現機會并不相等的情況：設有A1，A2，…An共N個可能結局，而每個結局出現幾率分別為P1，P2…，Pn，且有 .那么，其不確定程度H為它的某一結局所具有的不確定性

而整個系統的各個結局所具有的平均不確定性的數學期望為信息熵是對信息的量度信息熵概念的建立，為測度信息的多少找到了一個統一的科學的定量計量方法，從而奠定了信息論的基礎。

值得指出：信息熵概念的建立，使人們加深了對熱力學熵的認識，因為這里引入的信息熵概念，它既不與熱力學過程相聯系，也不與分子運動相聯系，但信息熵與熱力學熵有密切關系。

信息熵是對信息的量度從以下的推導中可以看到：設系統的總粒子數為N，它們可以分布在E1，E2…Ei…Em共m個能級上，每個能級上的粒子數分別是N1，N2…Ni…Nm ，則N個粒子在m個能級上的分配數，即系統的微觀態(tài)數W為：

由玻耳茲曼公式： 取對數

信息熵是對信息的量度再利用斯特林公式：則上式得：整理后可得：而 ，方括號內的量即信息熵H.所以 這就得到了熱力學熵與信息熵的定量關系，二者成正比，從這里已把熱力學、統計物理與信息論聯系起來了。