Материал: 6593

86

отсчёт для системы n нормальных случайных величин (отсчётов), имеющих корелляционную матрицу R.

3.3.9. Вероятности значений 0 и 1 двоичного символа X равны. Вычислить минимальное среднее количество информации, необходимое для того, чтобы полная вероятность ошибки при воспроизведении значений этого символа не пре-вышала

0,11.

3.3.10. При передаче значений символа X из задачи 3.3.9 на выходе линии связи имеется информация, равная в среднем 0,55 бит/символ. Укажите можно ли при наличии такого количества информации воспроизводить значения символа X так, чтобы полная вероятность ошибки не превышала 0,02?

3.3.11. Доказать неравенство 3.3.8.

87

4 КОДИРОВАНИЕ. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА.

4.1 Основные определения. Пропускная способность канала

Модель системы передачи информации. Системой пере-

дачи информации (СПИ) называется совокупность технических средств, используемых для передачи информации в пространстве (связь, телекоммуникации). В сущности, те же закономерности характерны и для системы передачи информации во времени (хранение информации). Модель системы передачи информации представлена на рис. 4.1.

N(t)

Источник

помех

Рис. 4.1

Источником называется устройство или человек, генерирующие сообщение, подлежащее передаче, а получателем – устройство или человек, получающие информацию. Каналом называется совокупность физических объектов, используемых для переноса сигнала (кабель, проводная линия, лента магнитофона, среда, в которой распространяются волны, и т.п.). Кодером называется устройство, преобразующее сигнал на выходе источника в сигнал, пригодный для передачи по данному каналу. Декодером называется устройство, преобразующее сигнал на выходе канала к виду, пригодному для использования потребителем. Воздействие помех (шумов) на сигнал в процессе его распространения в канале отражено на схеме введением источ-

ника помех.

Источник информации. Источник информации называется дискретным или непрерывным в зависимости от вида создаваемых им сообщений. Источник называется стационарным,

88

если сообщение на его выходе есть стационарная случайная функция (последовательность). Дискретный источник называется источником без памяти, если символы в последовательности на его выходе независимы.

Канал. Канал называется дискретным, непрерывным, дис- кретно-непрерывным или непрерывно-дискретным в зависимости от вида сигналов на его входе и выходе. Если входнойA(t) и выходной B(t) сигналы связаны взаимно-однозначно, то такой канал называется каналом без шума. В канале с шумом возможны случайные ошибки при преобразовании входного сигнала в выходной.

Дискретный канал с шумом называется каналом без памяти, если ошибки в отдельных символах выходной последовательности статистически независимы. Канал называется стационарным (постоянным), если условные вероятности перехода от A(t) к B(t) не зависят от начала отсчёта.

Кодер и декодер. Кодирующее устройство выполняет следующие операции:

а) согласование источника с каналом (перевод реальных сообщений в электрические сигналы, модуляция непрерывных сигналов, квантование непрерывных сообщений, представление s-ичного дискретного сообщения в m-ичном коде и т.п.);

б) экономное представление информации с минимальной избыточностью либо, наоборот, разумное введение избыточности в сигнал, передаваемый по каналу, с целью повышения его помехоустойчивости.

Функции декодера в значительной степени обратны функциям кодера. Кроме того, введение при кодировании избыточности в сигнал A(t) часто представляет возможность обнаруживать и исправлять ошибки, возникающие в канале из-за влияния помех. Эта операция также выполняется декодирующим устройством.

Скорость передачи информации. Одной из важных харак-

теристик источника является скорость создания информации. Для стационарного дискретного источника она равна энтропии последовательности символов на его выходе, вычисленной по формуле (2.4.2). Скорость создания информации непрерывным источником, вообще говоря, бесконечна (см. разд. 3.2). Поэтому

89

в качестве скорости создания информации стационарным непрерывным источником принимают значение ε - энтропии непрерывной функции на его выходе, вычисленной при заданной точности воспроизведения этой функции (см. разд. 3.3).

Важнейшей характеристикой СПИ в целом является скорость передачи информации. Скоростью передачи информации называется средняя величина взаимной информации (в единицу времени или на отсчёт) между сигналом X(t) на выходе источника и сигналом Y(t), поступающим к потребителю. Эта величина вычисляется по формуле (2.4.8), но для непрерывных источников в формуле используются значения относительной энтропии (условной и безусловной).

Условная энтропия в правой части выражения (2.4.8) иногда называется ненадёжностью передачи информации от дискретного источника. Она численно равна разности между скоростью создания информации и скоростью её передачи, поэтому ненадёжность, по существу, есть скорость потерь информации в канале (и, возможно, в кодере и декодере). Ненадёжность равна нулю только в случае безошибочной передачи информации.

Пропускная способность канала. Скорость передачи ин-

формации зависит в значительной степени от скорости её создания, способов кодирования и декодирования. Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью С. Пропускная способность канала, по определению, есть скорость передачи информации при использовании «наилучших» для данного канала источника, кодера и декодера, поэтому она характеризует только канал.

Пропускная способность дискретного (цифрового) канала без помех

где m – основание кода сигнала, используемого в канале (см. 4.2.2). Скорость передачи информации в дискретном канале без шумов равна его пропускной способности, когда символы в канале независимы, а все m букв алфавита равновероятны (используются одинаково часто).

90

Пропускная способность дискретного канала с шумом без памяти

числения пропускной способности сводится к отысканию «наилучшего» распределения вероятностей p(a1 ),..., p(am ) на входе

канала. Скорость передачи информации в таком канале равна его пропускной способности, когда символы в канале независимы, а распределение вероятностей m входных букв равно найденному.

Пропускная способность непрерывного канала с ограниченной полосой частот ∆f Гц, в котором действует аддитивный

белый гауссовский шум (1.9) со спектральной плотностью N0 Âò/Ãö, вычисляется по формуле Шеннона-Таллера

где Pc = M[B2 (t)] – средняя мощность стационарного полезного сигнала B(t) на выходе этого канала,

Pш = N0 ∆f – средняя мощность шума, попадающего в поло-

су частот ∆f , на выходе этого канала.

Скорость передачи информации в непрерывном канале с постоянными параметрами равна его пропускной способности, когда входной сигнал A(t) также является стационарным гауссовским случайным процессом с нулевым математическим ожиданием и спектром плотности мощности, равномерным в полосе

частот ∆f .

РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ