Материал: LS-Sb89574

Основные положения

Часто исходное число р рассматриваемых, т. е. измеряемых на исследу-

емых объектах, признаков довольно велико. Для визуализации картины, простоты интерпретации и упрощения счета очень часто необходимо представить каждое из наблюдений в виде набора чисел, состоящего из существенно меньшего (чем р ) числа признаков. При этом оставшиеся признаки могут либо выбираться из числа исходных, либо определяться по какому-либо правилу по совокупности исходных признаков, например как линейные комбинации последних

Главные компоненты представляют собой новое множество исследуемых признаков

y(1), y(2), …, y( p) ,

каждый из которых получен в результате некоторой линейной комбинации,

непосредственно измеренных на объектах, исходных признаков x(1), x(2),

. Полученные в результате такого преобразования новые признаки y(1), y(2), …, y( p) могут обладать рядом удобных статистических свойств.

Например, быть упорядоченными по степени рассеяния в изучаемой совокупности объектов: первый признак обладает наибольшей степенью рассеяния, т. е. наибольшей дисперсией, второй – меньшей и т. д.

Определение главных компонент

Будем предполагать, что исследуемые наблюдения X1, X2, …, Xn из-

влечены из некоторой р -мерной генеральной совокупности, определяемой

соответствующей вероятностной мерой. Однако для приводимых здесь понятий из всех характеристик исследуемой генеральной совокупности суще-

σij = M ( x(i) − a(i) ) ( x( j) − a( j) ) , i, j = 1, 2, …, p .

Здесь a(i) – компоненты вектора a средних значений признаков x(i) . Будем считать, что вектор средних значений a = 0, чего всегда можно добиться, рас-

сматривая в качестве исходных признаков x(1), x(2),…, x( p) не сами измере-

ния, а их отклонения от своих выборочных средних значений.

16

Назовем первой главной компонентой исследуемой генеральной совокупности наблюдений такую нормированную линейную комбинацию р ис-

наибольшей дисперсией.

Вообще, i-й главной компонентой исследуемой генеральной совокуп-

ности (i = 2, 3, …, р) будем называть такую нормированную линейную ком-

бинацию p исходных признаков x(1), x(2), …, x( p)

y(i) = li1x(1) + li2x(2) +…+ lip x( p) = Lтi X ,

которая среди всех прочих линейных нормированных (li21 + li22 +…+ lip2 =1)

комбинаций, некоррелированных со всеми предшествующими главными

Dy(1) ³ Dy(2) ³…³ Dy( p) , причем легко подсчитать, что, во-первых,

p

как нормированное ( ∑ li2j = 1) решение системы уравнений

j=1

(∑−λiI) Li = 0 ,

гдеλi – i-й по величине корень уравнения

∑−λI = 0 .

Под M подразумевается определитель матрицы М, под I – единичная матрица, а под λ – неизвестное число.

Из вышеприведенных выражений вытекает, что Dy(i) = λi.

17

Таким образом, ковариационная матрица ∑ Y главных компонент y(1), y(2), …, y( p) будет иметь вид

Опираясь на то, что преобразование, с помощью которого осуществляется переход от исходных компонент X к главным компонентам Y, (Y = LX) ,

ортогональное, нетрудно выразить исходные переменные x(1), x(2), …, x( p)

Анализ главных компонент в системе MATLAB

Анализ главных компонент (Principal components analysis – PCA) в систе-

ме MATLAB осуществляется с помощью функции princomp(X) в виде:

PC = princomp(X) или

[PC,SCORE,latent,tsquare] = princomp(X)

Функция PC = princomp(X) предназначена для проведения анализа главных компонент многомерной случайной величины Х. Входной параметр Х является матрицей (n × p) исходных данных. Столбцы матрицы Х соответствуют признакам, строки – наблюдениям многомерной случайной величины. Функция возвращает матрицу главных компонент PC (p × p), где p – число при-

знаков многомерной случайной величины, или число столбцов матрицы Х. Каждый столбец матрицы PC содержит коэффициенты одной главной компоненты. Столбцы расположены в порядке убывания дисперсии компонент. Матрица PC является множеством собственных векторов ковариационной матрицы cov(Х). В процессе своей работы princomp центрирует X путем вычитания среднего значения из колонок, но не меняет шкалу X.

Функция [PC, SCORE, latent, tsquare] = princomp(X) возвращает

матрицу главных компонент PC, матрицу оценок SCORE, которая является проекцией X в пространство главных компонент. Строки матрицы SCORE соответствуют наблюдениям, а столбцы – компонентам. Кроме того эта функция возвращает

18

Пример 4.3 (рис. 4.3)

Используя массив a из примера 1.1, построим gscatter для классов A, B, C

по двум первым главным компонентам. Для этого надо (как в примере 1.1) по-

строить матрицу a, переменную группировки g и далее использовать функцию

[PC,SCORE] = princomp(a).

[PC,SCORE] = princomp(a)

gscatter(SCORE(:,1), SCORE(:, 2), g,'','xos')

Задание

1. Ознакомиться с теоретическими положениями метода главных ком-

понент.

2. Освоить использование функции princomp на биологических и стати-

стических данных.

3.Освоить отображение данных в пространстве двух главных компонент

спомощью функций scatter и gscatter.

Порядок выполнения работы

1.Ввести в компьютер две матрицы данных f1 и f2 для двух классов A и B.

2.Вычислить переменную группировки g, как это было сделано в при-

мере 1.1.

3.Вычислить главные компоненты для объединенной матрицы [f1; f2]

ив пространстве двух первых главных компонент отобразить полученные дан-

ные с использованием функции gscatter и переменной группировки g.

4. Сделать вывод о возможности линейного разделения классов и оце-

нить получаемые ошибки.

20