Дипломная работа: Текстовый анализ новостей в применении к прогнозированию банкротства компаний

Рисунок 7. Распределение операционной рентабельности и отдачи от активов на (1) 20

Средние значения основных финансовых коэффициентов значительно разнятся в зависимости от отрасли. Так, наиболее закредитованными отраслями традиционно остаются финансы и энергетика, однако наибольшие трудности с покрытием долговой нагрузки испытывают производители товаров потребления.

Долгосрочный и низкомаржинальный характер инвестиций в здравоохранение оправдывает отрицательное среднее значение рентабельности активов.

Многие другие коэффициенты демонстрировали большой разброс и обилие выбросов (см. прил. А, табл. 17); было, однако, решено не исключать выбросы из выборки, так как зачастую очень высокие или очень низкие значения коэффициентов отражают экономическую природу феномена банкротства, как, например, очень низкий показатель собственного капитала или операционной прибыли.

Таблица 7. Средние значения основных финансовых переменных на выборке (1) 20

Текстовые факторы

По практическим соображениям в исследовании были использованы не тексты новостей, как обычно делается(Heston & Sinha, 2016), а только их заголовки, что можно сравнить с анализом сообщений из Twitter(Nielsen, 2011). Все они были размещены в сервисе ThomsonReutersNews (RTRS/REUTES) в разделе Research, причем за каждым была закреплена ассоциация с одной или с несколькими компаниями из исследованной выборки.

Из более чем 23 тысяч заголовков было выбрано 4896 содержательных и непересекающихся, в которых упоминалось всего 209 компаний (в среднем 23.4 новости на компанию на протяжении 8 лет - см. прил. Б, табл. 21-23). Новости, относящиеся к компаниям-банкротам, были включены в выборку в том случае, если они были опубликованы не позднее чем за месяц от даты объявления банкротства.

Таблица 8. Средние числа новостей на компанию; слов и значимых слов на новость

В большинстве случаев между тональностями наблюдалась осмысленная корреляция, однако ее, зачастую, не существовало между ними и объясняемой переменной (см. прил. Б, табл. 25-27). Словарь L&Mоказался наиболее осмысленным в этом отношении (см. прил. Б, табл. 26).: негативный и неопределенный характер новостных сообщений коррелировал с повышенной вероятностью банкротства, а положительный - со сниженной. Подозрений на избыточность переменных и наличие мультиколлинеарности не возникло. Более того, средняя спорная тональность (litigious - «спорный» в юридическом смысле) продемонстрировала высокую корреляцию с количеством банкротств в год.

Рисунок 8. Усредненные тональности и число банкротств по годам, L&M

В целом, переменные тональности продемонстрировали незначительный разброс, а их матрица оказалась достаточно разреженной: большинство новостей содержало всего 1-2 тональности, а алгоритм TF-IDFпозволил сгладить большую разницу между популярностью различных компаний в корпусе новостных сообщений.

Таблица 9. Описательные статистики переменных тональностей, L&M

Анализ данных позволил заключить, что, во-первых, как финансовые, так и текстовые факторы несут некоторую информацию об объясняемой; во-вторых, в большинстве случаев взаимосвязь между ними соответствует экономическим процессам, сопряженным с феноменом банкротства; наконец,словарь L&M, в отличие от двух других, вполне годится для формирования переменных тональности, осмысленно связанных с объясняемой переменной.

6. Результаты исследования

В целом результаты удовлетворительны. Удалось добиться весьма высокой точности предсказания банкротства, аиз новостных заголовков удалось извлечь некоторую информацию.Ее полезность для еще большего увеличения прогнозной силыбанкротства, однако, неочевидна.

Выдвинутые гипотезы подтвердились лишь частично:

H1. Результаты неоднозначны: улучшение прогнозной силы произошло только для одной из четырех моделей и не превысило статистической погрешностив 1-2%;

H2. Гипотеза подтверждается с осторожностью для переменных словаря L&M, значимых согласно F-тесту: негативная и неопределенная тональности повышают вероятность банкротства, а позитивная - уменьшает;

H3. Результаты неоднозначны: среди словарей не удается выделить стабильно более результативный, хотя факторы словарей NRCи GI, в отличие от таковых у L&M,практически не поддаются интерпретации;

H4. Гипотеза отвергается: чаще всего метрики качества растут с увеличением горизонта, а не снижаются, однако разница между однолетними и трехлетними метриками весьма мала;

H5. Гипотеза отвергается: все фиктивные переменные отраслей оказались незначимыми.

6.1. Выбор нетекстовых факторов и словаря

После обработки собранных данных возникла необходимость уменьшить размерность матрицы объясняющих переменных, число которых изначально не более чем в 5-6 раз превышал количество наблюдений в наименьшей из выборок. Предполагалось, что это позволит улучшить интерпретируемость моделей и повысит устойчивость ее коэффициентов.

Сначала была устранены переменные, порождающие очевидную мультиколлинеарность. Всего в матрице регрессоров оказалось 8 пар переменных, корреляция между которыми превышала 0.9. В каждой из них выбиралась и удалялась та переменная, взаимная информация которой с объясняющей переменной была меньше.

Рисунок 9. Пары скоррелированных объясняющих переменных и выбор одной из них

Былиудаленыпеременные: Liabilities/Assets, Assets, Current Assets/Current liabilities, Working Capital/Debt, EBIT/Revenue, Cash flow from operations/Assets, Cash and equivalents/Gross profit, Gross profit/Debt, послечегоосталось 28 финансовыхпеременных. Это число все еще очень велико: в среднем при прогнозировании банкротства используется всего 10 переменных (Bellovary et al., 2007). Особенно много оказалось переменных ликвидности (8), по своему смыслу зачастую однородных.

Далее был применен алгоритм последовательного исключения переменных (recursivefeatureelimination) на основе логит-моделис кросс-валидацией и PR-AUCв качестве целевой функции. Оказалось, что функция PR-AUCимеет локальные экстремумы при 8 и 15 факторах (см. прил. В, рис. 15). Было решено выбрать второе число, но отбирать не из всех факторов сразу, а из каждой категории отдельно. Это могло привести к менее качественной оценке, однако это не столь важно по сравнению с учетом всех возможных источников информации: набор наиболее качественно различных финансовых факторов в исследовании выступает в роли контрольных переменных.В каждой из пяти категорий было отобрано по три переменные с помощью того же алгоритма.

Таблица 10. Итоговый набор финансовых факторов