Энтропия индуктивного вивода
Новиков Н.Б.
Аннотация
В 1865 г. немецкий физик Р.Клаузиус ввел в науку понятие энтропии. Под энтропией он понимал необратимый процесс рассеяния свободной энергии, способной совершать работу. Поскольку эта свободная энергия имеет тенденцию к уменьшению, Р.Клаузиус сформулировал принцип о постоянном росте энтропии, получивший название второго начала термодинамики. Австрийский физик Л.Больцман (1871) дал статистическую интерпретацию второго закона термодинамики, показав, что энтропия пропорциональна вероятности (S = lnW). К.Шеннон обнаружил аналогию между теорией информации, которую он разрабатывал в 1940-е гг, и теорией энтропии, предложенной Л.Больцманом. Отчасти основываясь на этой аналогии, мы проводим термодинамический анализ познавательных процессов, реализуемых мозгом. Мы показываем, что энтропия индукции (индуктивного вывода) всегда превосходит энтропию дедукции. Мы также сопоставляем наши результаты с математическими проектами (программами) Г.Лейбница и Д.Гильберта и 18-й проблемой С.Смейла.
Ключевые слова: энтропия индукции, энтропия дедукции, вероятностная природа индуктивного вывода, программа формализации математики Д.Гильберта, 18-й проблема С.Смейла.
Abstract
In 1865, the German physicist R. Clausius introduced the concept of entropy into science. By entropy, he understood the irreversible process of dissipation of free energy capable of doing work. Since this free energy tends to decrease, R. Clausius formulated the principle of a constant increase in entropy, which was called the second law of thermodynamics. The Austrian physicist L. Boltzmann (1871) gave a statistical interpretation of the second law of thermodynamics, showing that entropy is proportional to probability (S = lnW). K. Shannon discovered an analogy between the theory of information, which he developed in the 1940s, and the theory of entropy, proposed by L. Boltzmann. Partly based on this analogy, we conduct a thermodynamic analysis of the cognitive processes realized by the brain. We show that the entropy of induction (inductive inference) always exceeds the entropy of deduction. We also compare our results with the mathematical projects (programs) of G. Leibniz and D. Hilbert and the 18th problem of S. Smale.
Key words: entropy of induction, entropy of deduction, probabilistic nature of inductive inference, Hilbert's program for the formalization of mathematics, 18th problem of S. Smale.
Эволюция понятия энтропии: от термодинамики до теории связи (теории информации)
Понятие энтропии было введено в науку немецким физиком Рудольфом Клаузиусом (1865). Он обобщил идеи С.Карно (1824), который показал, что условием эффективной работы тепловой машины является наличие разности (перепада) температур. Р.Клаузиус заметил, что все физические процессы идут таким образом, что перепад температур между различными объектами уменьшается, поскольку энергия необратимо рассеивается. Это рассеяние энергии, приводящее к выравниванию температур между разными телами, он и назвал энтропией. Сформулированный им принцип постоянного роста энтропии (ее стремления к максимуму) стал называться «вторым законом термодинамики». В дальнейшем Р.Клаузиус пытался доказать этот принцип методами классической механики, но безуспешно (поскольку классической механике чужда идея необратимости).
Аналогичные попытки предпринимал австрийский физик Людвиг Больцман (1844-1906), но на одном из этапов исследований он понял, что второе начало термодинамики имеет статистическую природу. Л.Больцман показал, что принцип роста энтропии нельзя вывести из законов классической механики, что единственный способ доказать справедливость данного принципа состоит в использовании средств математической теории вероятностей. Той самой теории, которая выросла в трудах Б.Паскаля и П.Ферма из анализа азартных игр и тех случайных событий, которые доминируют в этих играх. Многие ученые (Й.Лошмидт, А.Пуанкаре, Э.Цермело и т.д.) не согласились с такой трактовкой энтропии, с тем, что она означает вероятность - всего лишь вероятность! - осуществления некоторого макроскопического состояния системы. Однако Л.Больцман был прав, и его знаменитая формула, связывающая энтропию и вероятность (S = lnW), вошла в золотой фонд науки.
А в 1948 г. американский математик и инженер Клод Шеннон (1916 - 2001), разрабатывая теорию связи, предложил измерять количество информации с помощью формулы, совершенно аналогичной формуле энтропии Больцмана. Другими словами, К.Шеннон перенес формулу энтропии Больцмана из статистической физики в теорию информации, тем самым перебросив мост между весьма далекими научными дисциплинами. Сначала многие ученые, включая и самого К.Шеннона, объясняли этот перенос (транспонирование) удобством расчетов. Но постепенно стал проясняться глубокий смысл того, почему одно и то же математическое соотношение успешно «работает» в термодинамике и теории информации. Как пишет Е.А.Седов, «стало понятно, что и Больцман, и Шеннон, в сущности, занимались одной и той же проблемой соотношения хаоса и порядка, хотя и подошли к ней и к связанной с ней цепочке систем и явлений с противоположных сторон» [1, с.168].
Наблюдая за тем, как формула энтропии неожиданно «перекочевала» из статистической физики в теорию информации, можно задать вопрос: был ли это однонаправленный процесс? Не происходила ли обратная трансляция идей и методов из теории информации в статистическую физику? Оказывается, происходила, что позволяет говорить о взаимовыгодном обмене идеями между указанными разделами науки!
В 1957 г. преподаватель Стэнфордского университета Эдвин Томпсон Джейнс (Edwin Thompson Jaynes) в одной из своих статей показал, что методами К.Шеннона можно воспроизвести все результаты не только основ классической термодинамики, но и результаты Д.Гиббса, относящиеся к области статистической термодинамики. В 1961 г. эта идея была обобщена американским профессором М.Трайбусом в статье «Теория информации - основа термостатики и термодинамики» [2].
Результаты Э.Т.Джейнса получили высокую оценку со стороны специалистов. Так, Л.М.Мартюшев в работе «Принцип максимума производства энтропии: история возникновения и современное состояние» [3] подчеркивает: «Хотя изначально теория информации создавалась с помощью некоторых понятий статистической физики, в настоящее время, следуя Джейнсу, можно принять информационный подход за основу при построении статистической физики. Тогда формализм статистической механики оказывается некой последовательностью действий, выполняя которые, мы имеем возможность получить наилучшую оценку при существенной ограниченности наших знаний о микромире (это статистическая методика предупреждения возможных ошибок)» [3, с.593-594]. Аналогичная оценка работ Э.Т.Джейнса содержится в [4].
Потребление энергии - главное условие работы мозга
Мозг не может работать без постоянного притока кислорода и глюкозы, которая составляет примерно четверть от всей потребляемой телом энергии. Он также нуждается в белках, витаминах, минеральных веществах, маслах и жирах. Жиры нужны для построения мембран нервных клеток (нейронов) и миелиновых оболочек аксонов. Аксоны представляют собой длинные цилиндрические отростки нервной клетки, по которым нервные импульсы идут от тела нейрона (сомы) к иннервируемым органам и другим нервным клеткам. Противоположностью аксонов являются дендриты - отходящие от тела нейрона короткие ветвящиеся отростки, воспринимающие импульсы от других нейронов. Эти импульсы (сигналы) они получают благодаря синапсам - контактам между двумя нейронами или между нейроном и определенной эффекторной клеткой. В мозге насчитывается порядка 100 миллиардов нейронов, и каждый из них (за счет дендритов) может быть связан с тысячью других нервных клеток. Совокупность всех дендритов образует дендритное дерево - поверхность, воспринимающую различные сигналы (раздражители). Исследования показывают, что дендритные деревья составляют значительную часть мозгового вещества.
В свое время ученые полагали, что существенная часть метаболической энергии тратится на проведение нервных импульсов по аксонным волокнам (аксонным коллатералям). То есть аксоны рассматривались как проводники основной части энергии в мозге. Однако эмпирические исследования с использованием совместной регистрации электрофизиологических и гемодинамических параметров заставили отказаться от этой точки зрения. Было установлено, что увеличение кровотока и уровня кислорода в мозге отражают повышение синаптической активности и локальных градиентов потенциалов на дендритах. Другими словами, именно на дендриты приходится основная доля проводимых нервных сигналов (и, соответственно, энергии) [5].
Важную роль в работе мозга играют нейромедиаторы - биологически активные химические вещества, посредством которых осуществляется передача электрохимического импульса от одного нейрона к другому или, например, от нейрона к мышечной ткани. Молекулы медиаторов реагируют со специфическими рецепторными белками клеточной мембраны, инициируя цепь биохимических реакций, вызывающих изменение трансмембранного тока ионов, что приводит к деполяризации мембраны и возникновению потенциала действия. Потенциал действия («спайк») - волна возбуждения, перемещающаяся по мембране живой клетки в виде кратковременного изменения мембранного потенциала на небольшом участке возбудимой клетки. Потенциал действия (ПД) - физиологическая основа нервного импульса.
Основными, т.е. наиболее распространенными, нейромедиаторами, функционирующими в нервной системе, являются ГАМК (гамма - аминомасляная кислота) и глутамат. Молекулы ГАМК выполняют тормозную роль, уменьшая вероятность развития потенциала действия, а молекулы глутамата - возбуждающую, так как они, напротив, увеличивают вероятность развития ПД. В связи с этим перед учеными встал вопрос: какие синапсы - глутаматные или ГАМК-синапсы - отличаются максимумом потребляемой энергии? Оказалось, что это глутаматные рецепторы. Как указывают Б.Баарс и Н.Гейдж [5], «глутаматные синапсы по разным оценкам потребляют до 90% энергии, идущей на поддержание работы мозга. Они очень важны при обучении и, поскольку глутамат является основным возбуждающим медиатором коры, множестве других функций» [5, с.302].
Мозг потребляет значительную энергию, поскольку основной принцип действия составляющих его клеток - проведение электрохимических сигналов. Все нейроны, как и все живые клетки, работают как крошечные батарейки, поддерживая на своих мембранах разность электрических потенциалов. Это возможно благодаря активному трансмембранному движению ионов против градиентов их концентраций, закачивающих отрицательные ионы внутрь клетки и выкачивающих положительно заряженные наружу. Для поддержания работы этих ионных насосов, а также для большинства других функций нервной клетки требуется постоянный приток макроэргических метаболитов. Из-за этого нейроны постоянно используют доступную энергию. С.В.Савельев в книге «Происхождение мозга» [6] пишет: «Мозг человека составляет 1/50 массы тела, а потребляет 1/10 всей энергии - в 5 раз больше, чем любой другой орган. Это несколько заниженные цифры, поскольку только потребление кислорода составляет 18%» [6, с.50-51].
Разобравшись с «энергетикой» нейронов, ученые приступили к изучению других клеток, являющихся неотъемлемой частью коры головного мозга, - астроцитов (глиальных клеток). Выяснилось, что они участвуют практически во всех энергозависимых процессах мозга. Но если нейроны вносят вклад в потребление энергии за счет генерации нервных импульсов, то астроциты вносят тот же вклад в связи с затратами на ведение «домашнего хозяйства» - обеспечение целостности и нормального функционирования самих нейронов. Предназначение астроцитов состоит, главным образом, в обеспечении нейронов энергией (питательными веществами) и в борьбе с активными формами кислорода и азота. При этом количество астроцитов в несколько раз превышает число нейронов мозга, так что каждый нейрон «окружён» целым ансамблем астроцитарных клеток [7].
Такие функции мозга, как память и мышление, являются энергозависимыми процессами. Выполнение операций кодирования, хранения и извлечения информации (память), а также операций сравнения и обобщения этой информации (мышление) требует постоянного притока энергии. С.В.Савельев считает, что с точки зрения затрат энергии эти когнитивные функции являются невыгодными для организма. Но эволюция «изобрела» эти функции, а естественный отбор поддержал их развитие, поскольку они существенно увеличивали способность животных приспосабливаться (адаптироваться) к постоянно меняющимся условиям окружающей среды. С.В.Савельев отмечает: «Память - энергозависимый процесс. Нет потока энергии - нет памяти. Любой энергозависимый процесс невгоден организму» [6, с.101]. Касаясь операций сравнения и обобщения информационных сигналов (ключевых аспектов мышления), он констатирует: «В целом мышление - самое невыгодное занятие для мозга. Трудно придумать более порочный способ тратить драгоценную энергию нейронов» [6, с.111]. Однако, как отмечено выше, наличие памяти и определенных элементов мышления (применительно к животным говорят об элементарной рассудочной деятельности) существенно повысило адаптационные возможности живых организмов. Один из примеров таких возможностей приводит сам С.В.Савельев: «Лиса должна вспомнить запах только что убитого зайца, иначе она будет долго ходить по следам своего обеда» [6, с.105].
Убедительной иллюстрацией высокой энергоемкости памяти является тот факт, что долговременная память (долговременное хранение информации в мозге) требует синтеза множества белков. В свою очередь, чтобы запустить синтез белков, требуется активация генов в ядре нейрона. Другими словами, гены принимают участие в превращении памяти из кратковременной в долговременную. Дуглас Филдз в статье «Как сохранить воспоминания» [8] пишет: «Эксперименты с животными показали, что их обучение требует синтеза новых белков в мозге в течение нескольких первых минут тренинга, в противном случае информация в памяти будет утеряна. Чтобы произвести новый белок, необходимо участок ДНК, находящийся в клеточном ядре, скопировать на относительно небольшую подвижную молекулу, назыв аемую матричной РНК (мРНК), которая затем выходит в цитоплазму клетки, где специальные клеточные органеллы считывают закодированные в ней инструкции и синтезируют молекулы белка. Исследователи обнаружили, что если заблокировать процесс транскрипции ДНК в мРНК или трансляции мРНК в белок, то образование долговременной памяти нарушится, в то время как кратковременная не пострадает» [8, с.62].