Материал: Практическое занятие1

10

Практическое занятие № 1

Информационные характеристики источников сообщений

Задача 1.

Источник сообщений выдает символы из ансамбля . знаков с вероятностями p(x1) = 0.4; p(x2) = 0.1; p(x3) = 0.2; p(x4) = 0.1; p(x5) = 0.3. (Сумма всех p(xi) = 1, как полной группы несовместных событий). Найти количество информации, содержащееся в каждом из символов источника при их независимом выборе (источник без памяти), Вычислить энтропию и избыточность источника.

Решение:

Количество информации, содержащееся в каждом из символов источника:

, [бит].

[бит],

[бит],

[бит],

[бит],

[бит]

Э

Избыточность источника

.

Для определения избыточности определим

- количество символов.

.

.

Задача 2.

Определить максимальные значения энтропии Hmax(x), максимальное значение удельной энтропии H1max(x), значение удельной энтропии H1(x) для первичного пятиразрядного ( =5) кода, если известно, что с учётом неравновероятности появления = 32 буквенных знаков текста энтропия источника сообщений H(x) = 4.36 бит/знак.

Решение.

В соответствии с уравнением

бит/знак.

При наличии кодера источника, в свою очередь, представляющего каждую из

букв алфавита источника кодовой группой из символов (разрядов), опреде-

ляют удельную энтропию H1(x), приходящуюся на один разряд кодовой группы:

где - длина кодовой группы (слова), а в обозначении удельной энтропии индексом 1 подчеркивается, что энтропия отнесена к одному разряду кодовой группы, а не к знаку источника сообщения.

бит/разряд.

бит/разряд.

Это означает, что кодер источника выдаёт разряды сообщения при кодировании буквенного алфавита источника первичным кодом с "недогрузкой" в информационном смысле на 13% по сравнению с потенциальными возможностями.

Задача 3

Память двоичного стационарного дискретного источника с символами «0» и «1» простирается лишь на 2 соседних символа и следовательно дискретная последовательность символов, выдаваемых источником, описывается простой цепью Маркова с матрицей переходных вероятностей

,

где - вероятность символа при условии, что ему предшествовал символ .

Полагая, что , найти условную энтропию источника и его избыточность.

Найти энтропию и избыточность двоичного источника без памяти, но с теми же значениями вероятностей передачи символов.

Решение

Прежде всего найдем безусловные вероятности передачи символов из соотношения

.

Тогда

.

Энтропия источника

Избыточность источника

.

.

Для источника без памяти при тех же безусловных вероятностях передачи символов

.

Задача 4

Передается текст из 6-ти букв, составленный из алфавита из 3-х букв – «а б о».

Задана взаимная вероятность появления символов

.

Вычислить

вероятности появления букв в передаваемом тексте, энтропию источника , условные вероятности , частную условную энтропию при фиксированном , условную энтропию .

Решение

Вычисляем безусловные вероятности состояний каждого ансамбля как суммы совместных вероятностей по строкам и столбцам этой матрицы:

Определим энтропии

=

Определяем условные вероятности

.

Условная энтропия при фиксированном

.

Определим условную энтропию

Задача 5

Передается текст, состоящий из алфавита «а б д к р прбел» с вероятностями