Материал: Практическое занятие1
Рассчитать
собственную
информацию сообщения
,
энтропию
сообщения
,
максимальную
энтропию сообщения
и избыточность
источника
.
Решение
|
|
а |
|
б |
|
д |
|
к |
|
р |
|
пробел |
|
Энтропия сообщения
.
Максимальная энтропия сообщения
.
Избыточность источника
.
Задача 6
Передается текст,
состоящий из алфавита «а б д к р пробел»
с условными вероятностями их появления
после буквы
«а»
и после буквы
«б»
|
|
|
а |
|
|
б |
|
|
д |
|
|
к |
|
|
р |
|
|
пробел |
|
|
Рассчитать условную
собственную информацию сообщения
,
условную
энтропию
при фиксированном
,
условную
энтропию ансамбля
при фиксированном ансамбле
,
максимальную
условную энтропию
и избыточность
источника
.
При этом безусловные вероятности
|
|
а |
|
б |
|
д |
|
к |
|
р |
|
пробел |
|
Всего букв в алфавите |
|
Решение
Рассчитаем условную информацию
|
|
|
|
|
а |
|
0 |
|
=2 |
б |
|
=2 |
|
|
д |
|
=4 |
|
|
к |
|
|
|
|
р |
|
|
|
|
пробел |
|
=4 |
|
|
0
0
0
0
0
0
0
Рассчитаем условную энтропию при фиксированном
Рассчитаем условную энтропию ансамбля при ансамбле
Для этого необходимо найти переходные вероятности
.
Сравним с энтропией источника
Задача 7
Стационарный
источник выдает за время
с
двоичными посылками длительности
мс
бит
информации. За какое время и каким
количеством двоичных посылок можно
передать тот же объем информации, если
соответствующей обработкой полностью
устранить избыточность источника.
Решение
Заданный объем информации источник передает
посылками.
Средняя информация на символ
бит/символ.
Если избыточность полностью устранена
бит/символ.
И заданный объем передается
посылками за время
с.
Избыточность источника
.
Обратим внимание, что сокращение избыточности источника позволила бы на 90% более экономно использовать во времени во времени канал связи.