Материал: 1881

читься измерять количественно объем передаваемой или хранимой информации, пропускную способность каналов связи и их чувствительность к помехам.

Любое сообщение, с которым мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Средства измерений предназначаются для получения измерительной информации и обладают, таким образом, информационными характеристиками. При их нахождении исходят из того, что измеряемая величина обладает неопределенностью до тех пор, пока не произведено ее измерение. Степень неопределенности зависит от ряда факторов.

Рассмотрим некоторую систему X, которая может принимать конечное множество состояний: x1, х2, ..., хп с вероятностями p1, р2,…, рп, где

– вероятность того, что система X примет состояние xi (символом Х xi обозначается событие: система находится в состоянии xi).

n

Очевидно, pi 1 как сумма вероятностей полной группы независи-

i 1

мых событий.

В качестве меры априорной неопределенности системы X (измеряемой случайной дискретной величины X) в теории информации применяется специальная характеристика, называемая энтропией.

Энтропией системы (измеряемой величины) называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком:

где log – знак двоичного логарифма.

Знак минус перед суммой ставится для того, чтобы энтропия была положительной: вероятности pi меньше единицы и их логарифмы отрицательны.

Непрерывная измеряемая величина X априори имеет неопределенность, характеризуемую значением энтропии

где f(х) – плотность распределения величины X.

56

Энтропия обращается в нуль, когда одно из состояний системы достоверно (вероятность равна единице), а другие – невозможны (вероятности равны нулю).

Если рассмотреть случайную дискретную величину X, которая имеет п равновероятных значений, то вероятность каждого из них будет равна рi=1/п и

H(X) n 1log 1 logn. n n

Таким образом, энтропия системы с равновозможными состояниями равна логарифму числа состояний. При увеличении числа состояний энтропия увеличивается.

Энтропия обладает свойством аддитивности: когда несколько независимых систем объединяются в одну, их энтропии складывают-

ся: H (X, Y)=Н (Х)+Н (Y).

Единицы измерения энтропии зависят от выбора основания логарифма. При использовании десятичных логарифмов энтропия определяется в так называемых десятичных единицах (дит). В случае двоичных логарифмов энтропия выражается в двоичных единицах (бит). На практике удобнее всего пользоваться логарифмами при основании 2, поскольку при этом достигается согласие с применяемой в электронных цифровых вычислительных машинах двоичной системой счисления.

6.2. Энтропия и информация

Рассмотрим некоторую систему X, над которой производится измерение, и оценим информацию, получаемую в результате того, что состояние системы X становится полностью известным (погрешность измерений равна нулю). До проведения измерений априорная энтропия системы была Н(Х), после измерений энтропия стала равной нулю, если в результате измерения мы нашли истинное значение величины. Обозначим Ix информацию, получаемую в результате измерений. Она равна уменьшению энтропии IХ = H(X) – H(X/xи) = 0 или IX = H(X), т. е. количество информации, приобретаемое при полном выяснении состояния некоторой физической системы, равно энтропии этой системы.

С учетом формулы (6.2)

57

где рi= р(Х xi). Формула (6.4) означает, что информация Ix есть осредненное по всем состояниям системы значение логарифма вероятности состояния с обратным знаком.

Действительно, для получения Ix каждое значение log pi (логарифм вероятности i-го значения) со знаком минус множится, на вероятность этого состояния и все такие произведения складываются. Естественно каждое отдельное слагаемое – log рi следует рассматривать как частную информацию, получаемую от отдельного измерения, состоящего в том, что система X находится в состоянии Хi. Обозначим эту информацию Ixi.

Тогда информация Ix представится как средняя (или полная) информация, получаемая от всех возможных отдельных измерений с учетом их вероятностей. Так как все числа рi не больше единицы, то как частнаяинформация Ixi, так и полная Ix, не могут быть отрицательными.

Если все возможные состояния системы одинаково вероятны (p1 = Р2= … =рп=1/п), то частная информация от каждого отдельного измерения Ixi = – log p = log n равна средней (полной) информации

6.3. Применение основных положений теории информации для характеристики процесса измерения

Точность измерений обычно характеризуется числовым значением полученных при измерении или априорно известных погрешностей измерений.Если предположить, что плотность распределения различных значений измеряемой величины вдоль всей шкалы средства измерения одинакова, то с точки зрения теории информации наше знание о значении измеряемой величины до измерения может быть представлено графиком распределенияплотностиf1(x)вдоль шкалызначений (рис.6.1).

Рис. 6.1. Плотность распределения данного средства измерения

58

Пусть в результате однократного измерения значения измеряемой величины X результат измерения равен хи. Если известно, что средство измерения имеет случайную абсолютную погрешность в пределах ± , то не следует утверждать, что действительное значение измеряемой величины равно хи. Можно лишь утверждать, что это значение лежит в полосе xи ± . Незнание истинного значения измеряемой величины сохраняется после получения результата измерения хи, но теперь оно характеризуется не исходной энтропией Н(Х), а лишь энтропией разброса действительного значения X величины относительно полученного результата xи. Эта условная энтропия Н(Х/хи) определяется погрешностью данного средства измерения.

В теории информации факт проведения измерений в диапазоне от Хн до Хв означает, что при использовании данного средства измерения может быть получен результат измерений xи только в пределах от Хн до Хв. Другими словами, вероятность получения значений хи, меньших Хн и больших Хв, равна нулю. Вероятность же получения результата хи в пределах от Хн до Хв равна единице.

Поскольку вероятность получения результата измерений xи в пределах от Хн до Хв равна единице, то площадь под кривой f1 (x) должна быть равна единице. При равномерном распределении плотности вероятности

ства измерения (± ) действительное значение измеряемой величины X лежит в пределах от Хи – до Хи + , т. е. в пределах участка 2 .

С информационной точки зрения интерпретация результата измерения состоит в том, чтобы область неопределенности простиралась от Хн до Xв и характеризовалась сравнительно небольшой плотностью распределения f1(x). После измерения неопределенность уменьшилась до величины 2 , а плотность распределения увеличилась до величины f2(x) с учетом того, что (Xв –Xн), что и отражено на рис. 6.1.

Получение какой-либо информации об интересующей нас величине заключается в конечном счете в уменьшении неопределенности

59

В нашем примере с равномерным законом распределения

Данная операция, которая обычно используется при определении относительной погрешности измерения, характеризует один из основных приемов анализа информационных свойств измерений.

Глава 7. ОРГАНИЗАЦИОННО-ПРАВОВЫЕ ОСНОВЫ МЕТРОЛОГИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ

7.1. Государственная система обеспечения единства

измерений (ГСИ)

Государственная система обеспечения единства измерений (ГСИ) представляет собой комплекс нормативных документов межрегионального и межотраслевого уровней, устанавливающих правила, нормы, требования, направленные на достижение и поддержание единства измерений в стране.

Согласно закону РФ «Об обеспечении единства измерений» «единство измерений – состояние измерений, при котором их результаты выражены в узаконенных единицах величин и погрешности измерения не выходят за установленные границы с заданной вероятностью».

Единство измерений необходимо для того, чтобы можно было сопоставлять результаты измерений, выполненных в разных местах, в различное время с помощью разнообразных приборов. Единство измерений обеспечивает взаимозаменяемость изделий, например, деталей, изготавливаемых по одному чертежу на разных предприятиях.

Основным нормативным документом ГСИ является Закон РФ «Об обеспечении единства измерений». На его основе разрабатываются нормативные документы, конкретизирующие общие требования закона применительно к отдельным отраслям народного хозяйства, областям измерений и методикам выполнения измерений.

60