Материал: Статистический анализ многомерных неоднородных данных в программной среде R

Статистический анализ многомерных неоднородных данных в программной среде R

Статистический анализ многомерных неоднородных данных в программной среде R

Введение

При статистическом анализе многомерных данных из различных областей человеческой деятельности часто возникает проблема неоднородности данных, которая может быть переформулирована как задача классификации [1]. С точки зрения теории вероятности, при решении данной задачи наиболее адекватным является параметрический подход, при котором для описания данных используется модель смеси вероятностных распределений (Finite Mixture Model - FMM) [2]. В качестве базовой модели используется модель смеси нормальных распределений [3], поскольку она наиболее полно изучена теоретически. Однако на практике, например, в задачах генетики, обработки сигналов, медицины и экономики, данные чаще всего демонстрируют асимметричное распределение с ярко выраженными тяжелыми хвостами [2]. Поскольку нормальное распределение является симметричным, требуется использование модели асимметричных распределений, в частности скошенного нормального распределения [4]. В условиях указанной модели для одновременной оценки параметров и классификации наблюдений традиционно используется итерационный алгоритм расщепления смесей распределений [1], который в англоязычной литературе имеет название Expectation-Maximization (EM) [5].

Существует множество реализаций EM алгоритма для некоторых из перечисленных выше задач, но для научных исследований представляется наиболее удобным использование реализаций данного алгоритма из специализированных библиотек среды статистического программирования R [6]. В данных библиотеках реализованы различные версии EM алгоритма для классификации как симметричных, так и асимметричных одномерных и многомерных наблюдений. Более того, язык программирования R позволяет относительно быстро разрабатывать и тестировать новые алгоритмы.

Основной целью данной работы является изучение возможностей среды статистических вычислений R для классификации многомерных неоднородных ассиметричных данных с помощью EM алгоритмов, в частности, классификации многомерных данных по финансовой отчетности предприятий из ранее проведенного исследования [7]. Таким образом, объектом данного исследования является модель смеси многомерных распределений, а предметом исследования - классификация неоднородных данных с помощью EM алгоритмов расщепления смесей распределений. Основными задачами являются: подготовка обзора по соответствующим реализациям EM алгоритмов в R, проверка работоспособности данных алгоритмов на модельных данных, а также адаптация указанных алгоритмов для задачи оценивания кредитных рейтингов предприятий.

1. Обзор литературы

1.1 EM алгоритмы для FMM

статистический вычисление неоднородный ассиметричный

EM алгоритм является общим методом для нахождения оценок максимального правдоподобия параметров моделей по данным с пропусками [7]. В случае FMM пропусками являются все значения категориальной переменной, обозначающей принадлежность наблюдения к одной из компонент смеси распределений. Данная переменная называется переменной классификации. Примером такой переменной может служить переменная, классифицирующая пациентов согласно категориям заболевания, при наличии клинических данных о состоянии пациентов. При этом предполагается, что значения данной переменной являются СВ или, в общем случае, реализациями случайного процесса, примером которого может быть цепь Маркова.

Существует множество подходов к оцениванию параметров модели FMM, включая метод максимального правдоподобия (Maximum Likelihood-based Inference - ML), байесовский метод на основе метода Монте-Карло c использованием цепи Маркова (Bayesian approach based on Markov chain Monte Carlo), онлайн EM алгоритм (Online EM)[2]. Как правило, последние методы являются более эффективными в вычислительном плане, позволяя оценивать параметры смесей в более жестких условиях, таких как большая размерность модели, большой объем данных и т.п. Поскольку в задаче оценивания кредитных [7] рейтингов названные проблемы не являются столь существенными, для данной работы выбраны EM алгоритмы на основе метода максимального правдоподобия, поскольку алгоритмы данного типа имеют более простую реализацию и хорошо представлены в программных библиотеках R [9], о которых пойдет речь в следующем разделе.

Алгоритм EM на базе ML [5] предоставляет общий подход, который может быть применен для FMM с различными распределениями вероятностей. Так, для классификации симметричных данных может быть применен EM алгоритм для расщепления смеси гауссовских (нормальных) распределений [3], а для асимметричных данных - алгоритмы EM расщепления смеси скошенных нормальных и t-распределений Стьюдента [4]. Все указанные алгоритмы в общем случае применимы для случая многомерных данных. Для данных, у которых пропущенные номера классов подчиняются марковской зависимости, также может быть использована специальная версия EM алгоритма с учетом марковской зависимости [7].

1.2 Использование R для анализа FMM

Свободная среда статистического программирования R [6] предоставляет исчерпывающий набор встроенных функций и библиотек расширений для анализа данных с использованием широко круга статистических методов и моделей. Полный список библиотек может быть найден на сайте CRAN [9] в разделе Contributed extension packages, где по ссылке CRAN Task Views <#"786305.files/image001.gif">

где  - вектор числовых характеристик,

 - априорные вероятности классов, такие что ,

 - параметры распределений, ,

 - функции плотности распределения (компоненты смеси).

Обозначим через составной вектор всех параметров смеси ,  - выборку наблюдений,  - вектор классификации, где  принимает значение номера класса, которому соответствует наблюдение , тогда логарифмическая функция правдоподобия параметров  по выборке  представляется в виде функционала

,

который можем оптимизировать с помощью различных алгоритмов.

Во многих задачах классификация  неизвестна, поэтому возникает задача совместного оценивания параметров и классификации. Такие задачи относится к задачам анализа данных с пропусками, которые успешно решаются с помощью EM алгоритмов. Данные алгоритмы являются итерационными, и для их применения требуется предварительно задать начальные значения параметров модели, а также определить механизм их обновления на каждой итерации. Обозначим через  значения соответствующих параметров на k-ой итерации. С помощью формулы Байеса получим апостериорные вероятности для возможных реализаций пропущенных значений классификационной переменной:

,

причем  - апостериорная вероятность для реализации вектора классификации .

В частном случае, если  является смесью из многомерных нормальных распределений с параметрами  и плотностью

где через  обозначен составной вектор всех данных параметров независимых параметров из , то в результате максимизации функционала  по выборке данных с учетом значений параметров  и апостериорных вероятностей  на текущей итерации, формулы для обновления оценок параметров принимают вид [1]

,

,

Определим общую схему EM алгоритма. При заданной выборке, заданных законах распределения  , начальных значениях параметров , можно использовать итерационный алгоритм последовательного уточнения оценок вектора параметров смеси и вектора классификации выборки. Данный алгоритм относится к классу ЕМ-алгоритмов, широко применяемых в задачах статистического оценивания параметров в условиях априорной неопределенности [1]. При этом k итерация () предлагаемого ЕМ-алгоритма включает два последовательно выполняемых этапа:

этап Е (Expectation): оценивание при текущих значениях параметров модели  апостериорных вероятностей классов , знание которых позволяет оценить вектор классификации выборки;

этап М (Maximization): обновление оценок параметров смеси  из условия максимума логарифмической функции правдоподобия  на основании полученных ранее апостериорных вероятностей классов.

Работа алгоритма продолжается до достижения заданного условия остановки [5].

2.2 Примеры ассиметричных распределений

В данном разделе дадим обзор распределений вероятностей, которые могут быть использованы как компоненты смеси . Перечислим только те распределения, которое представлены в программной библиотеке mixsmsn в соответствии с описанием в [10]. Все данные распределения относятся к специальному классу на основе скошенных нормальных распределений SMSN(Scale Mixtures of Skew-Normal distribution), а модели смесей на основе данных распределений формируют класс моделей FMSMSN (Finite Mixures of Scale Mixtures of Skew-Normal distributions), для которых в указанной библиотеки реализованы алгоритмы моделирования данных и анализа с помощью EM алгоритма.

Приведем полный список распределений реализованных в библиотеке с принятыми сокращениями, которые в качестве параметров при вызове функций: нормальное распределение (Normal), асимметричное нормальное распределение (Skew.normal), асимметричное слеш-распределение (Skew.slash) и асимметричное нормальное распределение з засорениями (asymmetric contaminated-normal - Skew.cn), а также t-распределение Стьюдента (t) и его асимметричная версия (Skew.t). Все данные распределения представлены как для одномерного, так и для многомерного случая.

Скошенное N-мерное нормальное распределение (skew-normal) имеет плотность

,

где  - функция плотности N-мерного нормального распределения с вектором средних  и ковариационной матрицей ,

 - функция распределения стандартного нормального закона,

 - вектор параметров смещения (асимметричности).

Определим остальные распределения из класса SMSN.

Определение. Случайный вектор  имеет распределение из класса SMSN, если

,

где  - вектор параметров центрального положения,

 - случайный вектор с распределением ,

U - неотрицательная случайная величина, независимая относительно Z, с функцией распределения ,  - параметр (вектор параметров).

Согласно определению, маргинальная функция плотности случайной величины Y имеет представление

,

где выбор функции  определяет конкретное распределение из класса SMSN.

Перечислим частные случаи распределения из класса SMSN, которые реализованы в библиотеке mixsmsn и определим, при каких условиях они относятся к классу :

) нормальное распределение, если  и ;

) скошенное нормальное распределение, если ;

) скошенное t-распределение, если  - Гамма-распределение;

) скошенное слеш-распределение, если  - Бета-распределение;

) скошенное нормальное распределение с засорениями (skew-contaminated normal), если U является дискретной случайной величиной, принимающей с вероятностью  значение  и с вероятностью  и значение 1, где .

Модель смеси FMSMSN задается согласно , где компонент смеси с номером l имеет распределение из класса SMSN согласно  с параметрами . При этом будем рассматривать только такие смеси, в которых все компоненты имеют распределения одного типа и параметры смешивающей функции распределения равны: .

Для моделей смесей с распределениями из класса SMSN, которые представлены выше, примем соответствующие обозначения (относительно распределения вероятностей для компонент смеси) нормальное - FMNOR, скошенное нормальное - FMSN, скошенное t-распределение - FMST, скошенное слеш-распределение - FMSSL и скошенное нормальное распределение с засорениями - FMSCN.

3. Результаты численных экспериментов

В данной главе приводятся численные эксперименты с использованием моделей типа FMSMSN с распределениями, описанными в разделе 2.2. В разделе 3.1 продемонстрируем использование функций из библиотеки mixsmsn в R: вначале смоделируем выборку асимметричных данных и применим к их анализу EM алгоритм в предположениях симметричности и асимметричности распределений. Последнее необходимо для того, чтобы кроме работоспособности реализованных процедур показать, насколько нарушение предположения о симметричности данных влияет на адекватность результатов. В разделе 3.2 применим EM алгоритм для классификации ненормированных квартальных данных по финансовому состоянию предприятий промышленности в предположении описанных моделей распределений из класса SMSN для сравнения с методикой классификации [7], использующей обычный кластерный анализ в пространстве нормированных коэффициентов.