信息量檢視原始碼討論檢視歷史

來自 孔夫子舊書網 的圖片

信息量是中國生態學的一個名詞術語。

漢字是用於記錄漢語，進行書面交流，傳承民族文化的書寫符號系統，也是最富有民族特色的中國書法藝術的載體，是中華民族智慧的結晶，它蘊藏着許許多多的文化內涵。

名詞解釋

信息量是指信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設想，他將消息數的對數定義為信息量。若信源有m種消息，且每個消息是以相等可能產生的，則該信源的信息量可表示為I=logm。但對信息量作深入而系統研究，還是從1948年C.E.香農的奠基性工作開始的。在信息論中，認為信源輸出的消息是隨機的。即在未收到消息之前，是不能肯定信源到底發送什麼樣的消息。而通信的目的也就是要使接收者在接收到消息後，儘可能多的解除接收者對信源所存在的疑義（不定度），因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。

信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設想，他將消息數的對數定義為信息量。若信源有m種消息，且每個消息是以相等可能產生的，則該信源的信息量可表示為I=logm。但對信息量作深入而系統研究，還是從1948年C.E.香農的奠基性工作開始的。

信息的統計特徵描述是早在1948年香農把熱力學中熵的概念與熵增原理引入信息理論的結果。先行考察熵增原理。熱力學中的熵增原理是這樣表述的：存在一個態函數－熵，只有不可逆過程才能使孤立系統的熵增加，而可逆過程不會改變孤立系統的熵。從中可以看出：一、熵及熵增是系統行為；二、這個系統是孤立系統；三、熵是統計性狀態量，熵增是統計性過程量。討論信息的熵表述時，應充分注意這些特徵的存在。並且知道，給定系統中發生的信息傳播，是不可逆過程。