Материал: Лекция 4

где - вероятность неправильного опознания переданного сообщения, η – сколь угодно малая величина.

Обратное утверждение теоремы состоит в том, что если поток информации источника превышает пропускную способность канала, то не существует способа кодирования, обеспечивающего передачу любого сообщения с малой вероятностью ошибки.

Эта теорема определяет соотношение между скоростью создания сообщений источником, пропускной способностью канала при наличии помех и достоверностью опознания сообщения на приеме.

Теорема Шеннона не указывает практических путей нахождения оптимального кода, чтобы приблизить скорость передачи информации к пропускной способности канала. Установлено лишь, что для приближения скорости передачи к предельной величине общим методом для каналов с помехами и без помех является кодирование длинных сообщений.

Вместе с тем, значение этих теорем трудно переоценить. До К. Шеннона считалось, что в канале с заданными помехами обеспечить сколь угодно малую вероятность ошибки можно только при стремлении скорости передачи к нулю. Теоремы показывают, что путем выбора соответствующего способа кодирования можно обеспечить сколь угодно малую вероятность ошибки при конечной скорости передачи информации.

Теорема Шеннона для непрерывного канала связи

Для непрерывного канала связи с помехами сформулирована следующая теорема.

Если эпсилон-производительность источника непрерывных сообщений, определяющая количество информации, вырабатываемой в единицу времени при заданной оценке верности воспроизведения близка к пропускной способности канала, (т.е. справедливо отношение

(3.5)

где  как угодно мало) то существует такой метод передачи, при котором все сообщения, вырабатываемые источником, могут быть переданы, а вероятность воспроизведения, при этом как угодно близка к .

Обратное утверждение заключается в том, что при >С такого метода нет.

Эпсилон-производительность определяют как произведение средней скорости выдачи отсчетов непрерывного сигнала на эпсилон-энтропию одного отсчета. Максимальный объем информации, выданный источником за время существования сигнала, равен произведению максимальной эпсилон-производительности на длительность сигнала.

В этих теоремах речь идет о выборе способа аналоговой модуляции соответствующей идеальной.

Таким образом:

1. Теоремы Шеннона для дискретного канала связи определяют возможность приближения скорости передачи информации в канале к предельной. Не указывая конкретного практического метода достижения этого, они устанавливают, что общим методом для канала без помех и с помехами является кодирование сообщений. Обязательным условием должно быть превышение пропускной способности канала над производительностью источника.

2. Сущность теоремы Шеннона для непрерывного канала состоит том, что существуют оптимальные методы модуляции, при которых вероятности ошибки будут сколь угодно малы, если производительность источника меньше пропускной способности канала.

3.3 Сжатие и помехоустойчивое кодирование сообщений как средство реализации кодирования укрупнением

Первая теорема считается основной теоремой Шеннона. Раскрытие физического смысла, которой дает возможность использовать ее в практических целях.

Если избыточность, кроме неравномерности априорного распределения, обусловлена также и коррелированностью алфавита источника, то следует кодировать не каждую букву, а блоки из нескольких букв, поскольку связь между блоками с увеличением их длины быстро затухает. Такое кодирование блоками Шеннон назвал кодированием укрупнением.

Коды, предназначенные для сокращения избыточности источника, получили название статистических кодов.

Кодирование укрупнением – это алгоритм, по которому с целью уменьшения вероятности ошибки в передающем устройстве системы передачи информации кодируется не одна буква алфавита источника, а блок из нескольких букв, несущий K бит информации, а в приемнике выносится решение сразу о всем блоке, т.е. решение по множеству из N=2^k сообщений. Под буквой следует понимать двоичный сигнал, а под длиной блока – количество этих сигналов в блоке. Кодирование укрупнением реализуется при помощи специальных кодов с избыточностью, называемых помехоустойчивыми кодами.

Здесь для устремления вероятности ошибки к нулю необходимо обязательное выполнение условия:

, (3.6)

Т.Е. Условия затрат удельной энергии не меньше некоторого критического значения. Иначе говоря, производится выбор способа кодирования, при котором будет выполнено это пороговое условие.

При удлинении блока растут расстояния между сигналами, что приводит к уменьшению вероятности ошибки. Но при этом одновременно увеличивается и общее число сигналов N=2^k, т.е. растет число "соседей" каждого сигнала, а это может привести к увеличению вероятности ошибки. Действительно, вероятность ошибочного приема j-го сообщения равна сумме вероятностей перехода (трансформации) этого сообщения

(3.7)

где N-1=2^k-1 – число "соседей" сигнала, несущего j-ое сообщение, p_ij - вероятность перехода j-го сообщения в i-ое.

Удлинение блока ведет, с одной стороны, к уменьшению каждой вероятности p_ij, что естественно, в конечном счете, может привести к снижению полной вероятности ошибки. С другой стороны, удлинение блока ведет к росту числа слагаемых в сумме (3.7), что, в конечном счете, может привести к росту полной вероятности ошибки. Иными словами, действуют две причины с прямо противоположными результатами, и конечный эффект будет определяться тем, какая из причин превалирует. Смысл выполнения условия (I’<C) состоит в том, что если это неравенство имеет место, то первая причина, рост расстояний, превалирует над второй, и наоборот. Именно этим объясняется наличие при кодировании укрупнением порогового эффекта. И о наличии этого эффекта следует всегда помнить, ибо при невыполнении этого условия система передачи информации резко снизит свою помехоустойчивость и может стать хуже (причем значительно), чем при отсутствии помехоустойчивого кодирования.

Каким образом влияет увеличение длины блока на качество приема сообщения?

Основное, что необходимо отметить, это "задержка в доставке информации". Суть ее заключается в том, что при кодировании укрупнением приемник не может выдать первую букву блока получателю сообщений ранее, чем будет получена последняя буква этого блока. Это следует из самой сути принципа, при котором выносится решение сразу по всему блоку, а не побуквенно (задержка при этом для всех букв неодинакова). Т.е. происходи "задержка в доставке" информации.