Статья: Энтропия индуктивного вывода

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам

По существу, причиной этих неудач являются те же обстоятельства, которые помешали Аристотелю создать эффективную теорию индуктивных силлогизмов. Многие природные системы состоят из колоссального (иногда бесконечного) числа элементов. Чтобы изучить каждый из этих элементов, нужно обладать колоссальным временем и колоссальными материальными ресурсами. Степень истинности индукции зависит от количеств а рассмотренных элементов (A), поэтому для определения этой степени истинности нужно заранее и точно знать количество всех элементов изучаемой системы (B). Деление A на B даст нам величину, характеризующую достоверность индуктивного умозаключения. Однако в большинстве случаев мы не можем знать заранее число элементов той или иной системы. Например, в 1929 г. Э.Хаббл, изучив лучевые скорости 18-ти галактик, не знал, что общее их число составляет 200-300 миллиардов. Эти данные появились лишь в 2021 г. (спустя почти сто лет). Поэтому наши попытки математически точно выразить вероятность индукции оказываются безрезультатными («повисают в воздухе»).

Оценивая эту ситуацию, британский математик, логик и философ Бертран Рассел пишет: «Со времен Лапласа делались различные попытки показать, что вероятная истинность индуктивного вывода вытекает из математической теории вероятности. Теперь всеми признается, что все эти попытки были безуспешными...» [42, с.352]. «Во-первых, - продолжает автор, - в математической теории вероятности нет ничего, что оправдывало бы наше понимание как общей, так и частной индукции как вероятной, как бы при этом ни было велико установленное число благоприятных случаев» [42, с.361].

Об этом же говорит Д.Пойа в книге «Математика и правдоподобные рассуждения» [41]: «Никто еще не предложил ясного и убедительного метода вычисления правдоподобностей в нетривиальных случаях, и если мы ясно себе представим конкретные ситуации, в которых важна правильная оценка правдоподобностей, то мы легко сможем понять, что любое приписывание правдоподобностям определенных числовых значений подвергается большой опасности показаться глупым» [41, с.368].

Мы могли бы назвать эту ситуацию «катастрофой» или, по крайней мере, большой неприятностью. Мало того, что индукция имеет вероятностную природу, так она (вероятность индуктивного вывода) еще и не поддается вычислению. Иначе говоря, стохастичность (неопределенность) индукции дополняется невозможностью численно определить эту неопределенность. Однако, учитывая огромное количество научных открытий, сделанных при помощи неполной индукции, т.е. учитывая высокую продуктивность индуктивных методов обработки информации, воздержимся от того, чтобы именовать указанную ситуацию «катастрофой». На самом деле (в глобальном смысле), катастрофой оказалось бы такое устройство мира, в котором нам была бы доступна лишь дедукция, а индукции физически не существовало. В этом случае не существовало бы и таких вещей, как наука и научное познание.

Существует ли какая-либо связь между вероятностной природой индуктивного вывода и его энтропией? Да, существует. Индуктивный метод «придуман» людьми (вспомним Ф.Бэкона), чтобы исследовать окружающий мир, раскрывать тайны природы. Этот метод предполагает постепенное накопление единичных фактов и их обобщение. Некоторые из этих обобщений оказываются ошибочными, так как чаще всего мы используем неполную индукцию, основанную на ограниченном (фрагментарном) эмпирическом материале. Неполная (вероятностная) индукция составляет основное орудие наших научных поисков ввиду того, что многие изучаемые нами природные системы состоят из бесконечного числа элементов, а мы не располагаем материальными ресурсами, необходимыми для исчерпывающего анализа этих элементов. Наши индуктивные выводы ограничены теми затратами энергии и вещества, которые мы можем себе позволить в определенный период времени (на определенном этапе развития науки и техники). Следовательно, наши индуктивные обобщения - результат вполне определенных энергетических расходов и связанной с ними величины энтропии. В этом и заключается связь между вероятностью индуктивного умозаключения и его энтропией. За каждое продвижение вперед в сфере науки нужно платить энергией и энтропией. Можно сказать, что здесь действует теорема о том, что «бесплатных обедов не бывает» (в области машинного обучения есть аналогичная теорема, но в ней не рассматривается вопрос об энергетической стоимости исходных посылок индуктивного вывода).

Аргументы Р.Пенроуза о «невычислимости» творческого мышления

В 1989 г. английский физик и математик Роджер Пенроуз опубликовал книгу «Новый ум короля», которая впервые издана на русском языке в 2003 г. [43]. В данной книге Р.Пенроуз рассмотрел основные принципы, которыми руководствуются специалисты, разрабатывающие вычислительные машины и преследующие цель создать искусственный интеллект. Эти принципы он сопоставил с тем, что нам известно относительно особенностей (закономерностей) человеческого творчества. Р.Пенроуз задался вопросом: возможно ли описать алгоритмом (детерминированным вычислительным процессом) творческую деятельность человека, в ходе которой он создает нечто новое и общественно значимое: научные открытия, технические изобретения и т.д.? Ученый ответил на этот вопрос отрицательно. Далее он поставил вопрос: может ли искусственный интеллект, действующий в рамках программы, в которой нет ничего, кроме детерминированных алгоритмов, сравняться с человеком или превзойти его в своих мыслительных (познавательных) способностях? На этот вопрос он также ответил отрицательно. Как ни удивительно, для формулировки этих ответов ему хватило двух математических результатов: теоремы Геделя о неполноте и теоремы Тьюринга о неразрешимости проблемы остановки. Какая связь может существовать между этими теоремами и разработками в области искусственного интеллекта? Оказывается, самая непосредственная!

Когда ученые создавали первые вычислительные машины, они пришли к выводу, что лучший способ достичь цели - заложить в «мозг» машины программу, которая представляла бы собой набор четких инструкций, совокупность недвусмысленных правил, определяющих порядок обработки информации в ходе решения той или иной задачи. Наибольшее распространение получили вычислительные машины, чье программное обеспечение можно назвать «дедуктивным». В этих компьютерах инструкции (команды) соответствуют фиксированным правилам вывода некоторой формализованной аксиоматической процедуры. Другими словами, программа этих компьютеров - некая формальная, аксиоматико-дедуктивная система, способ построения которой глубоко изучали Д.Гильберт и представители его математической школы.

Анализируя возможности этих дедуктивных вычислительных машин, Р.Пенроуз пришел к совершенно правильному выводу, что они (эти возможности) ограничены так же, как и сами формальные системы, олицетворяющие стремление своих создателей превратить творческий поиск в «механический процесс». Аналогия между формальными системами (которые изучались сторонниками Д.Гильберта) и дедуктивными компьютерными программами привела Р.Пенроуза к достаточно простой мысли. Коль скоро теорема Геделя о неполноте и теорема Тьюринга о неразрешимости проблемы остановки показали неосуществимость программы формализации математики, предложенной Д.Гильбертом, те же математические результаты демонстрируют «ущербность» дедуктивных вычислительных машин, их неспособность вести полноценный творческий поиск.

Кроме того, Р.Пенроуз установил эквивалентность формальных систем и детерминированных алгоритмов. На высоком уровне математической строгости он показал, что для случая достаточно богатой формальной системы Ф мы имеем простое соотношение: алгоритм Т ^ правила формальной системы Ф. Детальное изложение схемы рассуждений, использованных Р.Пенроузом при определении этой эквивалентности, можно найти в [44]. Указанная эквивалентность стала «плацдармом», используя который Р.Пенроуз постулировал, что творческое мышление человека нельзя описать как реализацию детерминированных алгоритмов, а деятельность машин, основу программ которых составляют те же алгоритмы (формальные системы), - как «разумную» деятельность.

Науке повезло в том, что Р.Пенроуз - хороший математик. Занимаясь проблемами искусственного интеллекта, Р.Пенроуз обратил внимание на то, что эффективный алгоритм - это алгоритм, основанный на рекурсивных функциях. Ученый также знал, что рекурсивные функции являются стержнем теории вычислимости: объект, который можно представить в виде рекурсивных функций, может быть легко вычислен. Отсюда он сделал вывод, с которым трудно поспорить: поскольку творческое мышление не описывается детерминированными алгоритмами (рекурсивными функциями), то оно является «невычислимым».

18-я проблема С.Смейла и ее решение

В 1997 г. американский математик Стивен Смейл (род. 1930 г.) выступил в Филдсовском институте (Торонто) с лекцией «Математические проблемы следующего столетия» [45]. В данной лекции он представил свой список нерешенных математических проблем. Последняя, восемнадцатая, проблема в этом списке звучит следующим образом: каковы пределы интеллекта - как искусственного, так и человека? Поясняя свою 18-ю проблему о пределах интеллекта, он говорит: «Пенроуз пытается привести некоторые ограничения для искусственного интеллекта. Фигурирующий в его доказательстве интересный вопрос - это неразрешимость множества Мандельброта и выводы из теоремы Геделя о неполноте. Однако необходимо более широкое изучение, которое включало бы более глубокие модели разума, а также компьютера...» [45, с.297].

Текст лекции С.Смейла [45] свидетельствует о том, что он ознакомился с книгой Р.Пенроуза «Новый ум короля» [43] и серьезно воспринял его аргументы относительно того, что теоремы Геделя и Тьюринга - реальные факторы, ограничивающие формализацию человеческого творчества. Эти же теоремы показывают, что одних детерминированных алгоритмов (формальных систем) недостаточно для того, чтобы искусственный интеллект приблизился по своим возможностям к человеческому разуму. Однако С.Смейл уверен, что могут существовать и другие факторы, запрещающие полную формализацию (алгоритмизацию) человеческого творчества и искусственного интеллекта. Поэтому американский математик и поставил вопрос: каковы пределы интеллекта - как искусственного, так и человека?

Разумеется, речь идет о пределах алгоритмизации (формализации) интеллекта. Этими пределами должны быть факторы научного творчества, которые препятствуют превращению творческого поиска в «механический процесс» манипулирования строгими (формальными, детерминированными) алгоритмами. Р.Пенроуз описал два указанных фактора: теорему Геделя о неполноте и теорему Тьюринга о неразрешимости проблемы остановки.

В чем состоят другие факторы, которые объективно препятствуют формализации научной деятельности и научного мышления? Ответ подсказывается материалами и аргументами, рассмотренными выше: одним из этих факторов является мыслительная операция индукция! Иначе говоря, индуктивная стратегия обработки информации! Именно она имеет полное право встать в один ряд с такими результатами, как теорема Геделя о неполноте и теорема Тьюринга о неразрешимости проблемы остановки. А поскольку «поставщиком» новой научной информации для индуктивных обобщений является «древний» метод проб и ошибок, не относящийся к числу строгих алгоритмов, этот метод также должен находиться в одном ряду с результатами Геделя и Тьюринга.

Но индукция является более фундаментальным фактором, препятствующим полной формализации интеллектуальной деятельности. Запреты, налагаемые теоремами Геделя и Тьюринга, снимаются, когда мы переходим от замкнутых формальных систем к открытым системам, способным черпать информацию из внешнего мира [46]. Что касается индукции, то она сохраняет свою вероятностную природу, даже если используется в ситуации постоянного извлечения необходимых сведений из внешнего мира. Вероятностная природа индукции - результат ограниченности наших материальных ресурсов, не позволяющих нам осуществлять исчерпывающий анализ множеств, состоящих из бесконечного числа элементов. Она - результат того, что производство любой информации, необходимой для формулировки новых индуктивных идей, связано с затратами энергии и энтропии. Это цена, которую нужно платить в процессе исследований, но на каждом этапе развития науки наши возможности нести энергетические и «энтропийные» расходы вполне фиксированы (они не могут быть бесконечными). Эти расходы не могут быть бесконечными и у искусственного интеллекта, ввиду чего ему не избежать постоянного использования неполной, вероятностной индукции (если однажды он освоит этот метод обработки исходных данных).

Литература

1. Седов Е.А. Одна формула и весь мир. - М.: «Знание», 1982. - 176 с.

2. Tribus M. Information theory as the basic for thermostatics and thermodynamics // Journal of Applied Mechanics. - 1961. - Vol.28 (3). - P.1-8.

3. Мартюшев Л.М. Принцип максимума производства энтропии: история возникновения и современное состояние // Успехи физических наук. 2021. - Том 191. - № 6. - С.586-613.

4. Фрадков А.Л., Шалымов Д.С. Законы эволюции нестационарных процессов, подчиняющихся принципу максимума энтропии // Труды СПИИРАН. - 2014. - № 3 (34). - С.14-32.

5. Баарс Б., Гейдж Н. Мозг, познание, разум: введение в когнитивные нейронауки. Том 2. - М.: «Бином. Лаборатория знаний», 2014. - 465 с.

6. Савельев С.В. Происхождение мозга. - М.: изд-во «Веди», 2005. - 368 с.

7. Самохина Е. «Прожигатель» энергии // Наука и жизнь. - 2017. - № 4. С.22-25.

8. Филдз Д. Как сохранить воспоминания // В мире науки. - 2005. - № 5. С.61-68.

9. Кокурина Е.В. Зеркало для мозга // В мире науки. - 2008. - № 5. - С.6873.

10. Лейн Э., Хоурилиз М. Генетическая карта мозга // В мире науки. - 2014. - № 6. - С.32-39.

11. Маркина Н. Маршруты на карте мозга // Химия и жизнь. - 2004. - № 9. - С.6-11.

12. Ивашкина О.И., Торопова К.А., Рощина М.А., Анохин К.В. Формирование и извлечение ассоциативной памяти на комплексный сигнал у мышей: специфическое участие нейронов области CA1 гиппокампа // Журнал высшей нервной деятельности. - 2020. - Том 70. - № 3. - С.326-340.