Диссертация: Анализ и прогнозирование цен на рынке недвижимости Москвы

6 - K-Ближайшие соседи (KNN)

Алгоритм KNN очень прост и эффективен. Модельным представлением для KNN является весь набор учебных материалов.

Предсказания сделаны для новой точки данных путем поиска через весь тренировочный набор для K наиболее похожих экземпляров (соседей) и суммирования выходной переменной для этих экземпляров K. Для проблем с регрессией это может быть средняя выходная переменная, для задач классификации это может быть наиболее распространенное значение.

Цель заключается в том, как определить сходство между экземплярами данных. Самый простой метод, если ваши атрибуты имеют один и тот же масштаб (например, в дюймах), используется эвклидово расстояние, число, которое вы можете вычислить напрямую, исходя из различий между каждой входной переменной.

Пример графика алгоритма K-ближайших соседей продемонстрирован на рисунке 9.

KNN может потребовать много памяти или пространства для хранения всех данных, но только выполняет расчет (или обучение), когда требуется предсказание.

Идея расстояния или близости может разрушаться, когда алгоритм принимает достаточно большое количество переменных на вход, что может отрицательно повлиять на производительность алгоритма. Поэтому предполагается использование только тех входных переменных, которые наиболее важны для прогнозирования выходной переменной.

Рисунок 9 - метод K-ближайших соседей

7 - Квантование векторных данных (LVQ)

Недостатком метода ближайших соседей является то, что исследователю нужен весь набор тренировочной выборки. Алгоритм квантования вектора обучения является алгоритмом искусственной нейронной сети, который позволяет выбрать, сколько данных для обучения необходимо модели. Пример построения LVQ-сети продемонстрирован на рисунке 10.

Рисунок 10 - стандартная LVQ-сеть

Представление для LVQ представляет собой набор векторов кодовой книги. Они выбираются случайным образом в начале и адаптируются для наилучшего суммирования набора данных для обучения по ряду итераций алгоритма обучения. После обучения векторы кодовой книги можно использовать для составления прогнозов точно так же, как KNN. Самый похожий сосед (наилучший совпадающий вектор кодовой книги) найден путем вычисления расстояния между каждым вектором кодовой книги и новым экземпляром данных. Значение класса или (реальное значение в случае регрессии) для наилучшего совпадающего элемента возвращается как предсказанное значение. Лучшие результаты достигаются, если данные распределены с одинаковым диапазоном, например, от 0 до 1.

8 - Метод опорных векторов (SVM)

Метод опорных векторов - один из самых популярных и обсуждаемых алгоритмов машинного обучения. Гиперплоскость - это линия, которая разбивает входное переменное пространство. В SVM выбирается гиперплоскость, чтобы наилучшим образом отделить точки во входном пространстве переменных от их класса, класса 0 или класса 1. В двух измерениях можно визуализировать это как строку и предположить, что все входные точки могут полностью разделены этой линией. Алгоритм обучения SVM находит коэффициенты, которые приводят к лучшему разделению классов гиперплоскостью. Пример метода опорных векторов продемонстрирован на рисунке 11.

Расстояние между гиперплоскостью и ближайшими точками данных называется границей. Лучшая или оптимальная гиперплоскость - та, которая может разделять два класса, - это линия с наибольшим запасом. Только эти точки имеют значение при определении гиперплоскости и в конструкции классификатора. Эти точки называются опорными векторами. Они поддерживают или определяют гиперплоскость. На практике алгоритм оптимизации используется для определения значений коэффициентов, которые максимизируют функцию.

Рисунок 11 - метод опорных векторов

9 - Ансамбль деревьев решений и случайный лес

Random Forest - один из самых популярных и мощных алгоритмов машинного обучения. Это тип ансамблевого алгоритма машинного обучения под названием Bootstrap Aggregation или ансамбль деревьев решений

Bootstrap является мощным статистическим методом для оценки количества из выборки данных. Алгоритм берет множество образцов данных, вычисляет среднее значение, затем усредняет все средние значения, чтобы дать лучшую оценку истинного среднего значения.

В ансамбле используется тот же подход, но вместо этого для оценки целых статистических моделей чаще всего используются деревья решений. Выполняется несколько выборок данных для обучения, затем для каждого образца данных создаются модели. Когда необходимо сделать прогноз для новых данных, каждая модель делает прогноз, а прогнозы усредняются, чтобы дать лучшую оценку истинному выходному значению.

Иллюстрация ансамбля изображена на рисунке 12.

Рисунок 12 - Ансамбль деревьев решений

Случайный лес - это настройка этого подхода, когда деревья решений создаются так, что вместо выбора оптимальных точек разделения субоптимальные расщепления производятся путем введения случайности.

Поэтому модели, созданные для каждого образца данных, являются более разными, чем в противном случае, но все же точны по своим уникальным и различным образом. Объединение их прогнозов приводит к лучшей оценке истинного базового выходного значения.

10 - Boosting и AdaBoost

Boosting - это ансамблевая техника, которая пытается создать сильный классификатор из ряда слабых классификаторов. Это делается путем создания модели из данных для обучения, а затем создания второй модели, которая пытается исправить ошибки из первой модели. Модели добавляются до тех пор, пока тренировочный набор не будет хорошо предсказуем или не будет добавлено максимальное количество моделей.

AdaBoost был первым действительно успешным алгоритмом повышения, разработанным для двоичной классификации. Современные методы форсирования основываются на AdaBoost, в первую очередь на стохастических ускорительных машинах.

Пример алгоритма AdaBoost изображен на рисунке 13.

Рисунок 13 - работа алгоритма AdaBoost

AdaBoost используется с короткими деревьями принятия решений. После создания первого дерева производительность дерева в каждом учебном экземпляре используется для определения того, какое внимание уделяется созданию следующего дерева, чтобы обратить внимание на каждый экземпляр для обучения. Тренировочные данные, которые трудно предсказать, получают больший вес, в то время как, хорошо предсказанные данные дают меньше веса. Модели создаются последовательно один за другим, каждый из которых обновляет веса полученной функции, которые влияют на обучение, выполняемое следующим деревом в последовательности. После того, как все деревья построены, прогнозируются новые данные, а производительность каждого дерева взвешена по тому, насколько точно это было на данных обучения.

Выбоp инcтpумента

На cегодняшний день cущеcтвуют множеcтво инcтpументов для анализа больших потоков инфоpмации. Cpеди них Rstudiо (язык пpогpаммиpования R), дистрибутив Аnаcоndа (язык пpогpаммиpования Pythоn), MS Excel, Wekа, RаpidMiner, Knime.

Для выбоpа оптимального инcтpумента напиcания данной pаботы, было pешено иcпользовать CППP, опpеделить коэффициенты и веcа кpитеpиев.

В таблице 1 с помощью системы поддержки принятия решений, были отображены веса для факторов: личные практические навыки в конкретном инструменте, возможность сложных обработок, простые преобразования.

Таблица 1 - pейтинг обpаботки данных

В таблице 2 были расставлены веса для таких критериев как: количество методов (библиотек) для работы с анализом данных, гибкость настройки параметров библиотек.

Таблица 2 - pейтинг в машинном обучении

В таблице 3 представлены веса для таких критериев как: представление результатов работы (визуализация), временные затраты на выполнение кода.

Таблица 3 - представление результатов работы

В таблице 4 отображены веса для таких критериев как: затраты временных ресурсов на написание кода, скорость вывода результата визуализаций.

Таблица 4 - скорость получения результатов

Веcа кpитеpиев были pаccтавлены таким обpазом, что CППP выявила наиболее пpедпочтительные ваpианты.

По pезультатам анализа очевидно, что Pythоn, R являютcя наиболее пpедпочтительными инcтpументами для анализа данных, обладают неcpавненно большей гибкоcтью. C помощью Wekа можно быcтpее оcущеcтвлять анализ данных. Knime, RM, Wekа не пpедоcтавляют доcтаточной cвободы дейcтвий.

Для решения задачи прогнозирования цены на недвижимость было принято решения использовать дистрибутив Аnаcоndа (язык программирования Pythоn), а для визуализации для бизнес-целей язык программирования R, дистрибутив R-studiо.

Глава 3. Практическая реализация предложенного подхода с использованием ЭММ и ИТ на примере прогнозирования цены на недвижимость в Москве

В качестве исходных данных были получены следующие группы показателей:

1) Внутренние характеристики недвижимости

2) Состояние квартиры и материал постройки

3) Демографические характеристики района

4) Учебные характеристики района (наличие школ, ВУЗов)

5) Культурные характеристики района

6) Инфраструктурные характеристики района

Всего было собрано 430 параметров.

Всего было собрано данных по 100 тыс объектам недвижимости.

Словарь данных представлен в приложении 1.

Очевидно, не весь набор параметров понадобится нам для построения модели. Для того, чтобы понять какие переменные нужны в анализе, нам необходимо провести анализ данных.

Анализировать данные будем при помощи библиотек:

numpy - это расширение языка Pythоn, добавляющее поддержку больших многомерных массивов и матриц, вместе с большой библиотекой высокоуровневых математических функций для операций с этими массивами,

pаndаs - предоставляет специальные структуры данных и операции для манипулирования числовыми таблицами и временными рядами, датафреймами (специальными таблицами в среде Аnаcоndа),

mаtplоtlib и seаbоrn - для построения графиков и визуализации результатов.

Для этого импортируем библиотеки в среду Аnаcоndа.

После чего, нам необходимо загрузить датасет (набор данных) в среду Jupyter.

Далее, проведем исследование пропущенных значений:

В результате получим график, изображенный на рисунке 14, иллюстрирующий количество пропущенных значений каждого фактора:

Рисунок 14 - Количество пропущенных значений каждого фактора

По графику можем наблюдать, что топ-5 «плохих значений», по которым у нас мало информации это: Количество больничных коек для района, год постройки, средний минимальный счет в кафе и ресторане в 500 метрах, средний максимальный счет в кафе и ресторане в 500 метрах, средний счет в кафе в 500 метрах.

Так как в дальнейшем мы будем использовать алгоритм градиентного бустинга, то можем не заполнять пропущенные значения, алгоритм способен самостоятельно обходить их.

В случае, если бы мы использовали линейную или логистическую модель, нам пришлось бы избавляться от переменных, где заполненность данных слишком низкая, либо подставлять вместо пропусков медианные значения, что негативно скажется на адекватности модели.

Контроль качества данных.