Материал: 582

Некоторые проблемы применения математических методов анализа данных социальных систем

А. В. Лебедев,

профессор кафедры информационных технологий Академии управления МВД России, доктор технических наук

В настоящее время в практической деятельности специалистов, занимающихся анализом данных, сложилась ситуация, когда, с одной стороны, существует целый набор математических методов (факторный анализ, метод главных компонент, дисперсионный анализ, корреляционный анализ, кластерный анализ и т. д.), апробированных на практике и уже реализованных в виде мощных программных комплексов для ЭВМ, а также вполне пригодных для решения задач анализа социальных данных [1, с. 82; 2, с. 12; 4, с. 43]. С другой стороны, прогресс в изучении процессов, протекающих в социальных системах, крайне невысок.

По нашему мнению, основным моментом, существенно влияющим на сложившуюся ситуацию с использованием математических методов для решения задач анализа данных, порождаемых процессами в социальных системах, является несоответствие между этими методами и теми данными, на которых они строятся.

Мы полагаем, что одна из главных причин такого несоответствия – это несовершенство математических знаний специалистов, занятых анализом данных, порождаемых процессами в социальных системах. Как правило, проведение анализа подобного рода требует профильных математических знаний, с одной стороны, и навыков владения современными программными средствами обработки данных, с другой стороны. Специалистов подобного рода не так много.

Лицо, заинтересованное в анализе данных, как правило, не учитывает, что каждый математический метод предполагает определенную модель изучаемого с его помощью явления и эта модель не в состоянии учесть все имеющееся многообразие факторов. Лицо же, заинтересованное в анализе данных, как правило, хочет получить некоторую универсальную модель, работающую со всем объемом данных, которые, в свою очередь, имеют в том числе и временную протяженность.

Любой математический метод все еще, к сожалению, позволяет исследовать лишь узкий срез с действительностью.

52

Несомненно, что в естественнонаучных дисциплинах были созданы очень удачные приближенные модели, которые позволяли и в ряде случаев позволяют настолько широко и глубоко охватить изучаемое явление, что их оказывается достаточно для того, чтобы лучшим (с точки зрения текущих потребностей науки и практики) образом объяснить возникшую ситуацию, построить соответствующий прогноз и т. д. К сожалению, с анализом данных, порождаемых процессами в социальных системах, все обстоит не так. Здесь факторы, определяющие явления, столь многообразны и многочисленны, их взаимосвязи так переплетены, что почти никогда не удается создать модель, соответствующую вышеизложенным условиям. Другими словами, задача анализа данных, стоящая перед исследователем, в этом случае столь многомерна и мультиколлинеарна, что трудности, возникающие при формализации данных, очень велики. И здесь следует работать с небольшими объемами тщательно выверенных данных.

Работы по совершенствованию математических методов для решения задач анализа данных, как мы предполагаем, должны быть направлены на выработку таких принципов использования уже известных и хорошо зарекомендовавших себя методов, которые позволяют повысить их адекватность характеру решаемой задачи (например, предлагается комплексное использование нескольких методов). Кроме того, необходима глубокая формализация и очистка исходных данных, составление выборок из них, минимизация размерности задачи, а не механическое использование известных и хорошо зарекомендовавших себя в случае данных естественнонаучной природы статистических методов с применением их на всем объеме имеющихся данных.

Отметим, что нежелание использовать математические методы при анализе данных, порождаемых процессами в социальных системах, объясняется тем, что аналитики не видят пользы от применения этих методов. Обычно аналитик выбирает какой-то один метод из числа тех, которые позволяют решить стоящую перед ним задачу, и с помощью результатов применения метода создает наукообразный антураж своим изысканиям, если эти результаты совпадают с его априорными гипотезами, и игнорирует эти результаты, если они не укладываются в его предварительный качественный анализ. Однако исследователь при этом забывает, что проблема выбора всегда существует. Не всякий метод оказывается удачным. Успех применения его к одним данным – не значит автоматического успеха и в другом случае. Причина этого – в не разработанности вопросов, связанных с соотношением между формальным математическим аппаратом и содержанием данных.

53

Рассмотрим использование коэффициентов парной связи. При анализе данных, порождаемых процессами в социальных системах, аналитик говорит о сильной связи при значении коэффициента корреляции в 0,6–0,7 (бывают случаи, когда аналитик применяет методы регрессионного анализа и на еще более слабо связанных данных). В то же время в естественнонаучных исследованиях речь идет о значении коэффициента корреляции 0,9 и выше. При таком значении коэффициента корреляции известные методы могут работать достаточно успешно, а в случае значения коэффициента корреляции в 0,6–0,7 уже видимо необходима либо их модификация, либо, например, комплексное использование нескольких методов.

Поскольку для накопления данных и их сбора необходима соответствующая база данных или как минимум электронная таблица, то далее мы рассмотрим вопрос, связанный с созданием структур данных, для хранения данных, порождаемых процессами в социальных системах.

Рассмотрим некоторые факты теории измерений [3, с. 159]. Осуществляя измерение, исследователь прежде всего формирует представление об изучаемой социальной системе, которая в процессе измерения и отображается в структуре данных, на основании которых и строятся математические модели. В то же время социальная система одновременно отражает некий фрагмент действительности (формируя который мы отвлекаемся от массы реальных свойств интересующих нас объектов) и является продуктом определенной абстракции. Затем элементы массива данных отображаются в математическую систему (например, во множество действительных чисел) таким образом, чтобы выделенные отношения между объектами переходили

вопределенные отношения между элементами этой системы.

Вто же время среди данных, порождаемых процессами в социальных системах, часто встречаются данные, которые предусматривают неоднозначность отображения объектов в числа. Так, в случае использования порядковой шкалы мы можем сопоставить пяти характеристикам объекта измерения как совокупность чисел 1, 2, 3, 4, 5, так и любую другую последовательность чисел, например, 1, 3, 5, 7, 11 (при этом порядок следования характеристик соблюден, но числа использованы абсолютно другие).

Программист при задании структуры таблицы не обращает внимания на шкалу измерений, а работает сразу с типом данных. Постановщик задачи тоже не слишком акцентирует внимание на этом вопросе и использует числовой тип данных для указания характеристики заданного поля. Кстати, в СУБД выбор типов данных для

54

этого случая не так уж и велик и в большинстве случаев выбор идет из двух позиций: либо числовые данные, либо счетчик. Изредка возникает вариант, когда для порядковой шкалы в качестве типа данных выбирается текст.

В общем случае для порядковых шкал совокупности чисел отражают порядок объектов, если одна из этих совокупностей получается из другой с помощью некоторого монотонного преобразования (т. е. преобразования, удовлетворяющего лишь одному условию – большие числа оно переводит в большие). Для порядковых шкал монотонные преобразования называются допустимыми. Аналогичным образом определяются допустимые преобразования для всех других типов шкал. Тип шкалы обычно связывается с совокупностью отвечающих ей допустимых преобразований.

Таким образом возникает ситуация, когда программист пользуется всем широчайшим потенциалом свойств действительных чисел даже в том случае, когда в процессе отображения данных, порождаемых процессами в социальных системах, в числовую систему, т. е. в процессе измерения и дальнейшем их занесении в структуру, поставлена цель отразить только порядок между объектами или их характеристиками.

Первая проблема при обработке и анализе данных возникает уже при установлении связей между специфическим инструментарием специалиста-статистика. Рассмотрим, например, прикладную программу SPSS, которая как раз поддерживает форматы номинальных и порядковых шкал. В случае переноса или обращения к первичным данным, которые размещены либо в электронных таблицах, либо в соответствующих таблицах баз данных, где, как мы уже отмечали, указанные форматы не используются, при трансформации данных в специфический инструментарий (прикладную программу) данные в большинстве случаев приходят в первоначальных форматах, далее приходится изменять формат данных, что является достаточно рутинной ручной операцией.

После обработки данных возникает вопрос: какими из полученных в результате проведенного анализа данных соотношениями можно пользоваться при формулировке содержательных выводов?

Как известно, необходимое условие использования какого-ли- бо результата анализа – независимость этого результата от выбора конкретного математического метода представления данных (например, от того, используются ли нами значения 1, 2, 3, 4, 5 или 1, 3, 5, 7, 11 из предыдущего примера). Другими словами, математический аппарат может считаться применимым только в том случае,

55