信息论与编码之信息熵

集X的平均自信息量又称作是集X的信息熵 , 简称熵 , 它是为了在观测之前 , 确定集X中出现一个事件平均所需的信息量 。 下面小编就用一个例题来跟大家介绍一下它的求法 , 希望对大家有所帮助 。 操作方法 01 首先画出它的一阶马尔克夫信源的状态图 , 如下图所示 。

信息论与编码之信息熵

文章插图

02 然后根据切普曼—柯尔莫哥洛夫方程 , 可以得到相关表达式 , 如下图所示 。

信息论与编码之信息熵

文章插图

03 【信息论与编码之信息熵】接着把p(0) , p(1) , p(2)求出来 。

信息论与编码之信息熵

文章插图

04 然后根据第一小问的答案 , 求出它的信源熵 , 注意不要漏了单位 。

信息论与编码之信息熵

文章插图

05 接着根据题意可知:无记忆信源的符号的概率分布等于平稳分布 。

信息论与编码之信息熵

文章插图

06 可以写出此时信源的概率空间 。

信息论与编码之信息熵

文章插图

07 然后求出信源的信息熵 。

信息论与编码之信息熵

文章插图

08 最后可以比较出它们的大小 。

信息论与编码之信息熵

文章插图



以上内容就是信息论与编码之信息熵的内容啦 , 希望对你有所帮助哦!

    推荐阅读