澳洲ANU COMP2610信息理论课程学习指南

COMP2610是信息论研究这门课程，信息表示和传输的基本限制。本课程介绍信息论，研究概率、信息和熵等基本概念，并考察它们在数据压缩、编码、通信、模式识别和概率推理等领域的应用。

一、关于信息理论

信息论又称通信数学理论，是一种研究信息传输过程中数据处理和测量的方法。其创立者提出的通信过程是指信息通过确定的信道在发送方和接收方之间流动。

信息论还负责测量和表示信息，以及通信系统传输信息的处理能力。它也是数学概率论的一个分支。

二、信息论是如何产生的?

信息的数学理论是由数学家兼工程师克劳德-香农和生物学家沃伦-韦弗于 1949 年提出的。然而，它是安德烈-马尔科维和拉尔夫-哈特利等科学家近三十年前的研究成果;后者因是二进制语言的首批代表人物之一而闻名于世。

阿兰-图灵的贡献在于，他为能够通过发射符号来处理数据的机器绘制了蓝图，为后来被称为 "通信数学理论 "的发展、顶峰和神圣化开创了最后的先河。

当时所有的研究都有一个共同的目标：找到有效利用通信信道的方法，在不影响接收信息质量的情况下通过信道发送信息。

三、信息论有哪些要素?

信息源或发送者：能够发布信息的一方。在信息论中，主要的信息源有

随机：当信息无法预测时。

结构化：存在一定程度的冗余和秩序。

非结构化：当所有信息都是随机的、不相关的、无意义的，因此会损失部分信息。

信息：通过信道传输的一组数据。

代码：一组遵循一定规则组合起来的元素，以便于解释。

信道：传输信息以便信息到达接收者的媒介。

信息：发送者试图通过信息传达的内容。从信息论的理论框架--数学概率的角度来看，信息应与识别信息所需的比特数成正比。

接收者：接收信息的一方。能够吸收来自信息源或发送者的信息内容至关重要。

噪音：在信息流动过程中阻碍信息正常到达的各种原因，妨碍接收者完全理解信息。

四、信息论的一般方法有哪些?

它使我们能够研究信息过程，如可能的通信渠道和了解发送的数据。

它能确定最简单、最有效的方式，在不改变任何过程的情况下发送信息。

它能识别信息失真或受阻的因素，从而以最佳方式将信息送达收件人。

它规定发送方和接收方都必须能够对信息进行编码和解码。

它分析信息传输的速度。

它包括信息具有多重含义的可能性，因此，只要收件人与发件人拥有相同的编码，收件人就能赋予信息含义。

如果信息的选择仅为两个选项之一，则信息的值等于 1(称为比特的单位)。为了使信息成为一个比特，在这一过程中必须有同样可能的备选方案。此外，它还指出，备选方案越多，信息量就越大，而且所有备选方案的可能性都相同。

海马课堂专业课程辅导，2100+严选硕博学霸师资，针对学生的薄弱科目和学校教学进度，匹配背景相符的导师，根据学生情况进行1V1专属备课，上课时间灵活安排，中英双语详细讲解课程中的考点、 难点问题，并提供多方位的课后辅导，辅助学生掌握全部课程知识，补足短板。