Ситуация усугубляется ещё и тем, что редко в распоряжении измерителя оказывается весь объект измерения. Часто приходится довольствоваться пробой или образцом, особенно, когда речь идёт об измерениях, связанных с составом материальных систем. Тогда во всей красе появляется статистическая теория выборок, плюс проблема подготовки пробы или образца к анализу (измерению). Ясно, что в таких случаях надо ещё каким-то образом распространить результаты измерения выборки (то есть образца или пробы) на весь объект, представляющий интерес, да ещё оценить неопределённость, связанную с таким обобщением. Наконец, стоит помнить, что сами измерения могут быть в некоторых случаях связаны с разрушением объекта, что делает в таком случае выборочные методы неизбежными.
Таким образом, мы бегло пробежались по всем ключевым этапам добычи результатов измерений и теперь готовы поговорить о трудностях и путях их преодоления.
1. Командная работа
Задачи, которые предстоит решать в процессе получения результатов измерений, столь многообразны, сложны и так существенно могут повлиять на общий результат, что трудно себе представить, чтобы один человек мог решать их на требуемом уровне, причём постоянно. Ясно, что это задача команды, часто достаточно большой и со стоящей из специалистов в разных областях теории и практики. Конечно, это не большая новость, и в реальной работе участвуют разные специалисты, например, по наладке из мерительного оборудования и по самому процессу измерений. Как правило, они работают «каждый сам по себе», не вмешиваясь в работу друг друга. Между тем сами решаемые ими задачи обычно сильно переплетены и при выполнении одной из них важно учитывать ход дел в решении другой. Исходя из этого, видится вполне правдоподобным утверждение, что их совместная работа приведёт к лучшим результатам, чем автономная.
Но это гораздо легче сказать, чем сделать. Действительно, эти люди будут плохо понимать друг друга. Они ведь говорят на разных языках. Нужны большие усилия, чтобы на учить их работать вместе. Первое, что для этого нужно, это создать климат открытости и доброжелательства в коллективе. И это - главная цель менеджмента, во всяком случае на первом этапе. Тогда возникнет основа для совместного обучения команды.
2. Совместное обучение команд
Оно потребуется сначала для запуска совместной работы команды, а потом и постоянно, в ходе работы. Для начала важно, чтобы каждый видел и понимал весь процесс, тогда ему будет гораздо яснее и собственная роль, и собственное место в общем деле. Благодаря этому станет яснее, что можно попытаться улучшить в работе данного члена команды, чтобы облегчить работу соседа по логической цепочке задач. На языке менеджмента это называется совместным построением блок-схемы бизнес процесса для данного измерения. Опыт показывает, что здесь мы имеем дело с весьма ответственным и очень трудоёмким процессом. Вместе с тем он, вместе с общей теоретической основой, служит прекрасным поводом для совместного обучения. Даже при высокой степени автоматизации измерительного процесса, нам всё равно важно понимать, как он функционирует, хотя бы потому, что иначе мы не сможем его починить в случае поломки или отказа.
Конечно, сам процесс работы стоит рассматривать как источник информации для обучения команды. Для того, чтобы из процесса извлекать знания, важно систематически подвергать его рефлексии. Это неизбежно будет вести к углублению знаний о процессе и об обстоятельствах, в которых он протекает. Результат процесса измерения сам по себе, конечно, важен, но недостаточен для эффективного управления. Важно ещё систематически извлекать из процесса нечто, что позволяет команде чему-то научиться. А также и возможность получать в ходе работы удовольствие от самого процесса, и от взаимодействия с людьми, прежде всего, внутри команды.
Все эти усилия окупятся сторицей благодаря тому, что добытая в процессе информация будет систематически использоваться для поиска возможностей улучшения рабочего процесса как такового.
3. Общая терминология
Одно из главных препятствий в процессе обучения связано с тем, что в разных областях науки и практике одни и те же или близко родственные понятия часто обозначаются разными терминами. Наиболее известный пример - это статистический термин «ошибка» и метрологический термин «погрешность», которые используются для одного и того же понятия. По нашему мнению, такая ситуация нетерпима, поскольку неизбежно будет порождать непонимание и неверную интерпретацию. Любопытно, что это явление существует только на русском языке. Но в остальных европейских языках это понятие обозначается во всех случаях одним и тем же словом, например, «:error» по-английский, «erreur» по-французски, или «die Fehler» по-немецкий.
Не ясно, как разрешить эту проблему, но, если мы не найдём решения, то победителей не будет: проиграют все. Получается, что выработка общей терминологии - одна из важных задач обучения команды.
4. Неопределённость против «нормальности»
В 19 и начале 20 -го века, когда складывались методы статистической обработки результатов измерений, считалось непреложным, что результаты любых измерений - это случайные величины, подчиняющиеся нормальному распределению (распределению Гаусса). Такое представление родилось ещё во времена Гаусса. Когда астрономы попросили его помочь в обработке результатов траекторных измерений, он считал, что симметричные отклонения результатов повторяющихся наблюдений от центра их группирования с быстрым убыванием вероятности по мере удаления от центра - это закон природы. Он видел свою задачу в том, чтобы найти формулу, математическую модель, как мы сказали бы теперь, которая бы правильно и по возможности точно описывала поведение такой случайной величины. Ему это прекрасно удалось, и мы имеем теперь простые и удобные формулы и методы расчёта на все случаи жизни.
И тут произошла подмена и, думается, вовсе не случайная. Те, кто собирался пользоваться формулами для нормального распределения, искренне полагали, что Гаусс от крыл именно закон природы, которым очень удобно пользоваться. И они пользуются этим законом по сей день. Но теперь с переменным успехом. То, что нормальный закон не универсален, было ясно всегда, и конечно это понимал Гаусс, хотя бы потому, что существуют не только случайные величины с непрерывными областями определения, для которых и предназначен закон Гаусса, но есть и случайные величины с дискретными областями определения, например, распре делённые по закону Бернулли. Формально нельзя описать распределение дискретной случайной величины законом Гаусса, но с ростом числа наблюдений ошибка, связанная с заменой дискретного распределения нормальным, быстро стремится к нулю, что делает такую замену (аппроксимацию) вполне разумной. Правда, для этого надо всё-таки иметь некоторое число наблюдений.
Уже в самом начале 20 -го века начали среди профессионалов появляться некоторые сомнения в безгрешности нормального закона. Первым был, видимо, Госсет, вынужденный писать под псевдонимом «Стьюдент», который в 1906 году обнаружил, что при очень малом числе наблюдений хвосты нормального закона поднимаются, то есть, относительно большие отклонения от центра становятся относительно более вероятными. Для описания такого распределения с «тяжёлыми» хвостами он построил распределение, которое теперь называют распределением Стьюдента. Да, как можно догадаться, с ростом числа наблюдений различия между распределением Стьюдента и нормальным распределением быстро исчезают. Но всё-таки «святость» нормального распределения была поколеблена.
Кроме того, ещё в 1837 году Пуассон предложил дискретное распределение, на званное позже его именем, для относительно редких событий, таких, например, как число распадов некоторого изотопа в единицу времени, которые измеряет счётчик Гейгера. Это был ещё один шаг в сторону разрушения мифа о нормальности всех распределений. Эта тенденция ещё усилилась, когда выясни лось, что есть распределение, которое нормально не для самих измеряемых величин, а для их логарифмов, так называемое «логарифмически нормальное» распределение. Оно имеет сильно вытянутый правый хвост и хорошо описывает, например, распределение по размерам кусков некоторой горной породы после её измельчения в шаровой мельнице.
Пример логарифмически нормального распределения надоумил людей искать такие преобразования исходных данных, которые делали бы распределение нормальным. Оказалось, что такие преобразования существуют почти всегда, но радость этого открытия была не долгой, поскольку вскоре выяснилось, что обратное преобразование результатов ведёт к весьма нежелательному явлению: статистическому смещению оценок. Единственное спасение - не делать обратных преобразований, а научиться говорить на языке преобразованных данных. А для этого обычно приходится создавать этот язык. Такая работа тянет на Нобелевскую премию, как это было, например, в близкой ситуации в 1911 году со Сванте-Аррениусом, который с помощью преобразования координат создал язык формальной кинетики химических реакций.
Постепенно стало понятно, что есть три пути решения проблемы нормальности: верить, что нормальность в конкретном случае существует, проверять гипотезу о нормальности статистическими методами или искать альтернативные варианты. Первый путь труд, но назвать научным, но у него есть известные преимущества. Ни о чём не нужно беспокоиться, не нужны никакие советники или консультанты, есть шанс, что так и будет на самом деле. Ведь центральную предельную теорему теории вероятностей никто не отменил. А она утверждает, что при некоторых условиях смесь случайных величин с любыми распре делениями будет описываться нормальным распределением. Другое дело, что её условия трудно проверить эмпирически. Второй путь тоже не усеян розами. Конечно, техническая возможность проверить гипотезу о нормальности распределения у нас благодаря усилиям Карла Пирсона существует. Но беда в том, что такая проверка никогда не даёт однозначный ответ. Можно лишь оценить вероятность того, что собранные данные не противоречат гипотезе нормальности. Эта вероятность растёт довольно медленно с ростом объёма выборки, но никогда не достигает единицы. Кроме того, из того, что наши данные не противоречат гипотезе нормальности, вовсе не следует, что они не противоречат ещё каким-нибудь другим законам распределения. Как же с этим быть? Это не ясно. Остаётся третий путь: искать другие законы распределения в надежде, что один из них будет хорошо соответствовать как теоретически, так и практически изучаемой ситуации. Здесь в свою очередь возможны две ситуации. Либо мы заранее знаем закон распределения, и этот закон - не нормальный, либо мы ничего не знаем. В первом случае Рональд Фишер приготовил нам метод максимума правдоподобия, позволяющий, обычно с помощью вычислительной процедуры, получить все интересующие нас оценки, прежде всего оценку неопределённости, связанной с полученным результатом. Правда, не ясно, откуда можно взять информацию о законе распределения. Второй случай приводит нас к поиску подходящего закона среди множества законов некоторого семейства распределений, например, среди распределений Пирсона. В сущности, нам приходится вернуться к проверкам статистических гипотез, теперь уже о соответствии некоторого распределения имеющимся экспериментальным данным. Исчезает теоретическая база, позволяющая придавать результатам какой то физический смысл, как то их интерпретировать, как это было в случае нормального распределения, да и любого заранее 12 известного распределения. Всё это может и не понадобиться, если есть хорошая идея относительно подходящего закона распределения. Вообще вся эта возня с проверками гипотез о законах распределения уводит нас в сторону от нашей главной цели. А она заключается в том, чтобы оценить измеряемую величину. Потребители результатов наших измерений, однако, настаивают, что им обязательно нужна ещё и оценка неопределённости. Они говорят, что 5 +/- 0,5это что-то в районе пяти. А 5 +/- 50это бог весть что. Если получится 5 +/- 5, то это какое-то положительное число, видимо, меньшее, чем 10. Поэтому число 5 само по себе практически ничего не говорит и не помогает принимать решения. А тогда за чем оно нужно?
Но не стоит уповать на отыскание заветного закона. В нашем распоряжении есть и другие хитрости. Например, байесовский подход. Действительно, можно притвориться, что нам ничего не известно, и воспользоваться любым законом, например, равномерным или нормальным. Тогда можно действовать по шаблону, но время от времени проверять гипотезу о том, соответствует ли принятое распределение накопленным новым экспериментальным данным. Суть байесовского подхода, предложенного Тома сом Байесом в Англии и опубликованного в 1763 году, заключается в том, что «априорная» модель, та, что исследователь считал наиболее вероятной, «правильной» до начала сбора данных, под влиянием новой экспериментальной информации превращается, в соответствии с алгоритмом Байеса, в «апостериорную» (послеопытную) модель, которая может отличаться от априорной, и если это отличие статистически значимо, то от старой опытной модели придётся отказаться. И если эта старая модель была, например, моделью нормального распределения, то это будет означать, что она противоречит собранным данным. Тогда мы вынуждены извиниться, сказать, что мы погорячились и выдвинуть новую априорную модель. Так круг замыкается и всё повторяется с самого начала. Тут стоит сделать несколько замечаний. Любая априорная модель рано или поздно будет отвергнута под напором новых экспериментальных данных. Вопрос только в том, хватит ли наших жизней, чтобы дождаться этого рокового момента или расхлёбывать, как обычно, придётся нашим потомкам? Каждая следующая априорная модель с необходимостью будет сложнее предыдущей, поэтому её будет трудней придумать и сложней опровергнуть. И здесь мы сталкиваемся с концепцией «верификации» и «фальсификации» гипотез, предложенной Карлом Поппером ещё в 20 -м веке. А в более широком контексте речь здесь идёт о том, что Томас Кун, тоже ещё в 20м веке, назвал «Структурой научных революций». Вопрос в том, как новое знание, взаимодействуя со старым знанием, порождает революционные представления, меняющие парадигму раз вития науки, а, следовательно, и парадигму наших представлений о мире. Одно время в метрологических исследованиях было мод но использовать байесовский подход, но, кажется, что эта мода уже сходит на нет, хотя ещё и остаются отдельные приверженцы.
Как видим, байесовский подход, хоть и возможен в принципе, не сулит нам райских кущ. Поэтому не удивительно, что нашлись люди, которые задумались о том, нельзя ли вообще обойтись без информации о законе распределения? С некоторыми оговорками ответ на этот вопрос получился утвердительным. Так возникла непараметрическая статистика. Первая работа, которая привела к созданию непараметрической статистики, была опубликована в 1945 году американским инженером-химиком Френком Уилкоксоном. Ему было уже 52 года, и это была практически его первая публикация в области статистики. Вся вторая половина 20 -го века ушла на построение теории, в которой непараметрическая статистика представлена как антипод классической. При этом стала ясна такая любопытная ситуация. Если представить себе, что в результате измерения возникает случайная величина с нормальным распределением, и в этом нет сомнений, то построение оценки неопределённости в рамках классической модели даст значения, например, доверительных интервалов, которое окажется более, чем в три раза уже, чем полученные для тех же данных значения непараметрических интервалов (это следует из так называемого неравенства Бахадуа). Но если есть сомнения в верности классической модели, то непараметрическая модель по прежнему будет давать «разумную» оценку неопределённости, в то время как классическая оценка может отличаться как угодно сильно. Значит, у нас есть выбор между «синицей в руках» и «журавлём в небе». Вот почему на практике всё чаще предпочитают непараметрические оценки, особенно в областях, где представление о нормальности изначально выглядит сомнительно, например, в медицинских исследованиях. Думается, что в метрологии похожая ситуация.