Министерство образования и науки Российской Федерации
Федеральное государственное бюджетное
образовательное учреждение высшего образования
«Сыктывкарский государственный университет имени Питирима Сорокина»
(ФГБОУ ВО «СГУ им. Питирима Сорокина»)
Институт точных наук и информационных технологий
Кафедра физико-математического и информационного образования
Реферат
по дисциплине «Основы научно-исследовательской работы»
На тему: Закон Бенфорда. Каковы его проявления и применения?
Выполнила студентка 131-ИНЗ
Туркина Ирина Романовна
Сыктывкар 2020
Содержание
Рисунок 1 Саймон Ньюкомб
Реферат начинается с истории возникновения. Работа с массивами информации иногда приводит к совершенно неожиданным выводам. Однако, открытие, совершенное в конце 19 века Саймоном Ньюкомбом, настолько не укладывалось в рамки здравого смысла, что о нем предпочли забыть до 1938 года, когда Френк Бенфорд дал открытию Ньюкомба вторую жизнь. В следующих главах подробное описание закона и области его применения. И в заключении мы приходим к тому, что Закон Бенфорад из математического курьеза превратился в инструмент серьезных исследований.
В данном реферате будем использовать сведения из научного журнала, материалы свободной энциклопедии (Википедия), а также из других интернет источников.
1. История возникновения закона Бенфорда
Астроном, математик и экономист из США Саймон Ньюкомб в 1881 году по долгу службы листал справочник по логарифмам. В наше время логарифм можно взять на любом инженерном микрокалькуляторе, но в 19 веке таблицы логарифмов были для ученых занятых точными науками жизненно необходимыми. [2]
Рис. 2
Нькомб обладал проницательным умом (чему свидетельство примерно 400 научных работ) и обратил внимание на странный факт - страницы, где находились логарифмы чисел были изрядно истерты, а те страницы где логарифмы начинаются с 9 выглядят почти как новые. Получалось так, что людей, ранее пользовавшихся книгой интересовали числа начинающиеся на 1, и практически не интересовали числа начинающиеся на 9. Объяснить этот феномен Ньюкомб не смог, ведь согласно теории вероятности частота открытия любых страниц должна совпадать. Вскоре о странном открытии забыли. [2]
Повторно обратил внимание на указанный феномен Фрэнк Бенфорд. Он анализировал табличные данные, касающиеся абсолютно несвязанных между собой понятий. В число анализа попали бассейны 335 крупнейших рек планеты, удельная теплоемкость различных веществ, уличные номера домов и многое другое. После обработки массива информации стало ясно, что в качестве первой значащей цифры числа 1 появляется с вероятностью 30%. Для числа 2 эта вероятность уменьшается до 18%, а для 9 составляет всего 4,6%. [2]
Поначалу ученые скептически отнеслись к открытию Нькомба-Бенфорда. Анализ различных статистических данных показал, что для привычного всем нормального распределения, такого как распределение IQ людей, закон Бенфорда не работает, он не работает с распределениями с заданными минимальными или максимальными значениями, а также не подходит для распределений, охватывающих только один или два порядка величин. Массив данных должен быть достаточен для применения статистических методов. [2]
Долгое время математики сомневались в справедливости закона Бенфорда. Во многом это объяснялось приверженностью к неподкупным законам теории вероятности, для которой все цифры одинаковы. Но сторонники Бенфорда утверждали, что при подсчете необходимо обращаться не к математической абстракции, а к конкретным примерам реальной жизни.[1]
Одним из способов объяснить найденную закономерность было следующее вычисление. Путь от 1 к 2 очень большой - он требует увеличения начального числа в 2 раза. Путь от 2 до 3 требует увеличения только на 50% от начального значения величины. А путь от 8 до 9 занимает весьма краткие 12,5% увеличения. Вот и получается, что 1 будет встречаться как первая значимая цифра гораздо чаще. [2]
Таким образом, закон Бенфорда или закон первой цифры гласит, что в таблицах чисел, основанных на данных источников из реальной жизни цифра 1 на первом месте встречается гораздо чаще, чем все остальные (приблизительно в 30 % случаях), а также вероятность того, что цифра будет стоять на первом месте в числе тем больше, чем меньше цифра.[1]
2. Описание закона первой цифры
В 1986 году ученый-физик Дон Лемонс обратил внимание на факт интуитивно известный каждому человеку - луж оказывается гораздо больше чем прудов. Количество прудов тоже значительно больше чем озер, зато число озер превышает количество морей, которых в свою очередь также значительно больше, чем океанов. Так же вполне логично, что озер с площадью зеркала от 1 до 2 километров квадратных значительно больше, чем тех, чья площадь зеркала находится в рамках от 8 до 9 квадратных километров. И уж совсем очевидно, что мелкой гальки гораздо больше, чем крупных валунов. Так что по мнению части специалистов закон Бенфорда эмпирически доказала сама природа. [2]
В теории вероятностей и статистике правило первой цифры, или закон Бенфорда, показывает любопытное проявления частот первой цифры данных из реальной жизни.
Числа, начинающиеся с единицы, встречаются гораздо чаще, чем числа, начинающиеся с любой другой цифры. Более того, чем больше цифра, тем меньше вероятности, что она будет стоять в числе на первом месте.
Рис. 3
Бенфорд определил вероятность, встретить первую цифру в данных, основанных на источниках из реальной жизни.
Коротко этот закон можно сформулировать так: есть наборы данных, у которых первая цифра будет единицей примерно в 6 раз чаще, чем девятка и это соотношение не изменится при масштабировании исходного набора. Более строго можно сформулировать так: набор чисел удовлетворяет закону Бенфорда, если первая цифра d появляется с вероятностью
Если у нас основание системы счисления b (b > 2), то для цифры d (d Ѓё {1, …, b ? 1}) вероятность быть первой значащей цифрой составляет
P(d) = logb (d + 1) - logb(d) = logb(1 + 1/d).
Это в точности расстояние между d и d + 1 на логарифмической шкале.
Для равномерного распределения, если вы имеете цифры 1, 2, 3, 4 ,5 ,6 ,7, 8, 9, 0 (= 10), то у вас есть 10 отрезков (от 0 до 1,…, от 8 до 9, от 9 до 10). Обратите внимание, все отрезки лежат в отрезке [0, 10]. Для отрезка [d, d + 1] равномерное распределение должно быть пропорционально его длине, то есть длине отрезка [d, d + 1], то есть (d + 1) - d, поделённое на длину отрезка [0, 10], которая равна 10.
((d + 1) - d)/(10 - 0) = 1/10.
Если логарифмы непрерывно распределены, необходимо взять логарифм числа перед тем, как рассмотреть отрезки. Для логарифмов рассматриваем отрезки от 1 до 10 (т.к. log100 не имеет смысла). В этом случае вы будете иметь интервалы от log101 до log102,…, от log108 до log109, от log109 до log1010. Все отрезки лежат в интервале [log101, log1010] = [0, 1]. Длина последнего равна 1. Итак, рассматриваем отрезок [d, d + 1] на обычной шкале, в логарифмической шкале равномерное распределение будет пропорционально его длине, то есть:
(log10(d + 1) - log10(d))/1 - j + log10(d + 1).
В таблице представлены найденные Бенфордом значения вероятностей для десятичной системы счисления. При этом распределение зависит только от системы счисления, но не от единицы измерения. Другими словами, если тонны перевести в фунты, а квадратные километры - в акры, распределение не изменится. [1]
Пример. Представим, что вносим в банк 1000$, под 10 % годовых. В следующем году вклад вырастет на 10 % и будет составлять уже 1100$, еще через год на счету будет уже 1210$, затем 1331$ и так далее. Единица остается первой цифрой нашего баланса на счете в течение долгого времени. Когда счет будет составлять 2000$, двойка первой цифрой будет оставаться уже в течении более короткого периода. Когда депозит составит 9000$, 10-процентный рост приведет к росту суммы вклада свыше 10000$, и единица снова долгое время будет оставаться первой цифрой. Таким образом, эти изменения чисел подчиняются закону Бенфорда: все, что растет в числе, размере, весе или цене дольше всего остается в «области единицы».[1]
Что интересно, так это то, что закону Бенфорда подчиняются некоторые математические объекты, такие как факториалы, числа Фибоначчи или последовательность степеней двойки.[2]
Впрочем, часть ученых полагает, что никакого закона Бенфорда нет в принципе.[2]
Теперь зададимся вопросом, какие наблюдаемые значения из реальной жизни удовлетворяют закону Бенфорда. Вот список некоторых из них.
1. Население стран и городов. Как следствие: результаты демографических измерений, результаты выборов, региональные показатели, пропорциональные населению.
2. Площади бассейнов рек, площади стран и территорий, размеры островов.
3. Тиражи газет и книг.
4. Повседневные расходы. Просто посмотрите на все свои покупки за какой-то период времени.
5. Показатели изменений на финансовых рынках.
Под этот закон не попадают сильно популярные равномерные и нормальные распределения. Также попадаются распределения с часто встречаемой первой единицей и на первый взгляд, похожих на закон Бенфорда, например атомная масса элементов и основные физические константы. Про атомную массу элементов хочется сказать особенно. Сам Бенфорд, указывал атомную массу, как пример закона удовлетворяющего «правилу первой цифры», однако закону, описываемому формулой это распределение не удовлетворяет, хоть и видно явное преобладание первой единицы.[3]
3. Применения закона
Не так давно интернациональная группа ученых рассмотрела то, как подчиняются закону Бенфорда различные природные процессы: продолжительность времени между геомагнитными инверсиями, выбросы парниковых газов, число инфекционных заболеваний. На данный момент, наиболее полно исследована возможность применения закона Бенфорда в геофизике. Исследования проводились в Перу и Канберре. В Перу ученые обнаружили, что незначительное вертикальное смещение поверхности земли не удовлетворяет закону Бенфорда, но сдвиги, вызванные мощными землетрясениями, напротив соответствуют закону. Ситуация с сейсмической активностью в Канберре была аналогичной, лишь несколько отличалась степень соответствия закону во времени. Эти исследования, по мнению математика Теодора Хилла, не принимавшего участия в работе, будут иметь огромное значение в будущем, так как с помощью закона Бенфорда станут отбирать модели физических процессов. [1]
Но даже раньше, чем в геофизике, закон Бенфорда стали применять для проверки финансовой отчетности на предмет фальсификации. В конце 20 века американский математик Марк Нигрини пришел к выводу, что подчиняться закону Бенфорда должны и цифры в налоговых декларациях, соответственно несовпадение с законом первой цифры указывает на подтасовку данных. Разрабатывая эту теорию, Нигрини проанализировал более 200 000 налоговых деклараций и опытным путем доказал, что почти в каждое третье число в аутентичных отчетах начинается с единицы. На основании этих данных математик разработал программу для проверки числовых массивов на соответствие закону Бенфорда. В 1995 году эта программа была протестирована. В ходе этого испытания Нью-йоркская налоговая полиция разоблачила семерых мошенничающих налогоплательщиков. Данная программа получила название «Digital Analysis» (сейчас особенно активно использует эту программу мировая компания «Ernst & Young»). На данный момент известно около десяти тестов «Digital Analysis». Наиболее распространены из них следующие шесть. [1]
1. Анализ частоты первой цифры. В данном случае используется непосредственно сам закон Бенфорда.
2. Анализ частоты первой и второй цифры. При использовании данного теста отдельно проверяется частота цифры от 1 до 9 на первой позиции и частота цифры от 0 до 9 на второй. Затем составляется таблица соответствий, которая анализируется на отличие частоты цифр в приведенной последовательности от эталонной последовательности Бенфорда.
3. Анализ дублей. Данный метод опирается только на методологию Бенфорда, а не на сам закон. Данная проверка выявляет частоту числовых повторов в большом количестве документации. Все повторяющиеся числа в исследуемых данных сортируются по чистоте повторов, а затем проверяются уплотнения повторов ряда чисел. Наиболее часто анализ дублей используют для налоговых проверок, при внутренних расследованиях и внешнем аудите.
4. Анализ первой пары цифр. Этот метод фактически представляет собой усовершенствованный второй тест, так как он исследует частоту появления цифр в начале числа не от 1 до 9, а от 10 до 99. Наиболее удобно использовать этот метод в его графической интерпретации.
5. Анализ первой тройки цифр. Метод, более точный в сравнении с первым, вторым и четвертым тестами. Программа анализирует частоту первой тройки цифр от 100 до 999 в изучаемой числовой последовательности. Данный метод используют при проверке большого объема информации (от 10000 значений).