檢視资讯理论的原始碼

'''信息论'''（{{lang-en|'''information theory'''}}）是[[应用数学]]、[[电机工程学]]和[[计算机科学]]的一个分支，涉及[[信息]]的量化、存储和通信等。信息论是由[[克劳德·香农]]发展，用来找出[[信号处理]]与[[通信]]操作的基本限制，如[[数据压缩]]、可靠的存储和数据[[电信|传输]]等。自创立以来，它已拓展应用到许多其他领域，包括统计推断、[[自然语言处理]]、[[密码学]]、[[神经生物学]]<ref>{{cite book|author=F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek|title=Spikes: Exploring the Neural Code|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref>、进化论<ref>cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, ''Science'' '''294''':2310-2314</ref>和分子编码的功能<ref>Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, [http://alum.mit.edu/www/toms/ Thomas D. Schneider] {{webarchive|url=https://web.archive.org/web/20080821124201/http://alum.mit.edu/www/toms |date=2008-08-21 }}, Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, ''Gene'' '''215''':1, 111-122</ref>、[[生态学]]的模式选择<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York) ISBN 978-0-387-95364-9.</ref>、热物理<ref>Jaynes, E. T. (1957) [http://bayes.wustl.edu/ Information Theory and Statistical Mechanics], ''Phys. Rev.'' '''106''':620</ref>、[[量子计算]]、[[语言学]]、剽窃检测<ref>Charles H. Bennett, Ming Li, and Bin Ma (2003) [http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75 Chain Letters and Evolutionary Histories], ''Scientific American'' '''288''':6, 76-81</ref>、[[模式识别]]、异常检测和其他形式的[[数据分析]]。<ref>
{{Cite web
 |author      = David R. Anderson
 |title       = Some background on why people in the empirical sciences may want to better understand the information-theoretic methods
 |date        = November 1, 2003
 |url         = http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf
 |format      = pdf
 |accessdate  = 2010-06-23
 |deadurl     = yes
 |archiveurl  = https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf
 |archivedate = 2011年7月23日
}}
</ref>

[[熵 (信息论)|熵]]是信息的一个关键度量，通常用一条消息中需要存储或传输一个{{le|符号率|Symbol rate|符号}}的平均比特数来表示。熵衡量了预测[[随机变量]]的值时涉及到的不确定度的量。例如，指定[[掷硬币]]的结果（两个等可能的结果）比指定掷股子的结果（六个等可能的结果）所提供的信息量更少（熵更少）。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由[[有噪信道编码定理|信道编码定理]]、[[信源－信道隔离定理]]相互联系。

信息论的基本内容的应用包括[[无损数据压缩]]（如[[ZIP格式|ZIP文件]]）、[[有损数据压缩]]（如[[MP3]]和[[JPEG]]）、[[信道容量|信道编码]]（如[[DSL|数字用户线路（DSL）]]）。这个领域处在[[数学]]、[[统计学]]、[[计算机科学]]、[[物理学]]、[[神经科学]]和[[电机工程学]]的交叉点上。信息论对[[航海家计画|航海家]]深空探测任务的成败，光盘的发明，手机的可行性，[[互联网]]的发展，[[语言学]]和人类感知的研究，对[[黑洞]]的了解，和许多其他领域都影响深远。信息论的重要子领域有[[数据压缩|信源编码]]、[[前向错误更正|信道编码]]、[[柯氏复杂性|算法复杂性理论]]、[[算法信息论]]、[[资讯理论安全性]]和信息度量。