Дипломная работа: Количественный рекуррентный анализ в обнаружении экстремальных событий в социальных сетях

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам

Таким образом, резкое падение меры LAM характеризует начало фазы нестабильности системы, а позже и наступление краха. Как видно из данных, количественное падение показателя куда выше, чем при аналогичном периоде у курса биткоина. На то может быть несколько причин, главная из которых заключается в том, что в социальной сети пользователи начали резко реагировать на небольшое падение до резкого взлёта валюты, то есть сыграл человеческий фактор. Серьёзные выводы делать сложно из-за малого набора данных для сравнений, но на данный момент можно утверждать, что работа с социальной сетью для поиска экстремальных событий не уступает аналогичной с финансовыми рядами, а возможно (если провести ещё несколько экспериментов) даже лучше.

В данном разделе были рассмотрены современные инструменты для проведения рекуррентного количественного анализа (сделан акцент на текстовом анализе, который требует предварительной подготовки данных), а также проведён сам анализ на трёх примерах: промышленный индекс Доу-Джонса (чтобы показать, что мера LAM действительно может обнаружить появление экстремального события), курс биткоина и временной ряд хэштега биткоина (второй из этой пары является главной задачей данной работы - провести рекуррентный количественный анализ над данными из социальных сетей, а первый нужен для сравнения: какой тип данных лучше подходит для работы).

Заключение

рекуррентный диаграмма нелинейный

В результате проведённого исследования были рассмотрены все необходимые теоретические сведения для проведения рекуррентного количественного анализа, а также современные инструменты, позволяющие облегчить задачу, особенно когда дело касается подготовки данных, сбора текстовой информации и её преобразование во временные ряды.

Помимо теоретических наработок, которые могут помочь другим исследователям или же могут стать учебным материалом по рекуррентному анализу, поскольку в теоретической главе имеются все необходимые в том числе и исторические данные по данному методу: история, развитие и последние исследования в данной области, построение рекуррентных графиков и их анализ, меры рекуррентного количественного анализа, а также небольшой пример работы с текстовой информацией для проведения RQA, в данном исследовании имеются и практические результаты. Проведён рекуррентный количественный анализ для трёх разных наборов данных: промышленный индекс Доу-Джонса, курс биткоина и данные по хэштегам из социальной сети Twitter. Главными результатами практической части можно считать демонстрацию возможности предсказания (определения наличия) экстремального события по показателю LAM, а также проведения данного анализа по отношению к данным из социальных сетей. Таким образом, можно с уверенностью утверждать, что RQA позволяет определить наличие экстремального события, хоть и не может гарантировать точность предсказания. Но один уже этот факт позволит многим заинтересованным сторонам начать действовать несколько иначе, чем если бы у них отсутствовали подобные данные.

Таким образом, цель данного исследования выполнена, поскольку рекуррентный количественный анализ в социальной сети проведён и благодаря нему было обнаружено экстремальное событие. Кроме того, все поставленные задачи тоже можно считать выполненными: метод и инструменты текстового анализа изучены, данные из социальной сети Twitter получены, анализ рекуррентных диаграмм проведён, а также обнаружены экстремальные события. Единственная задача, которую можно считать выполненной не до конца, это проведение текстового анализа. Поскольку в последнем примере был использован готовый временной ряд, то текстовые данные в итоге преобразованы в данной работе не были, но вместо этого были показаны способы преобразования текстовых данных и специализированное программное обеспечение, которое облегчит эту задачу.

Стоит отметить, что пусть в работе и была показана значимость показателя LAM, а кроме того если судить на основе примеров второй главы, то данные из социальных сетей позволяет лучше определить наличие экстремальных событий, но стоит помнить, что текстовые данные получить сложнее и их преобразование занимает время, поэтому судить о том, какие конкретно данные лучше использовать для анализа сложно (возможно, наш случай исключение, и если сравнить другие аналогичные данные, то в итоге выйдет, что числовые данные точнее). Именно поэтому требуются дальнейшие исследования в данной области, которые могут пойти в нескольких направлениях. Во-первых, исследования демонстрирующие какие наборы данных точнее предсказывают наступление критических событий, а, во-вторых, исследования, направленные на изучение других мер RQA. Возможно, другие меры могут стать заменой LAM или разные меры вместе дадут более точный результат.

Список литературы

1. Balakrishnan, V.; Nicolis, G.; Nicolis, C. (2000). Recurrence time statistics in deterministic and stochastic dynamical systems in continuous time: A comparison. Physical Review E, 61(3), pp.2490-2499.

2. Ben-Menahem, A., and Singh, S. J. (2012). Seismic waves and sources. Springer Science & Business Media.

3. Casdagli, M.C. (1997). Recurrence plots revisited. Physica D, 108(1-2), pp. 12-44.

4. Choi, J.M.; Bae, B.H.; Kim, S.Y. (1999). Divergence in perpendicular recurrence plot; quantification of dynamical divergence from short chaotic time series. Physics Letters A, 263(4-6), pp. 299-306

5. Crucitti, P., Latora, V., and Marchiori, M. (2004). Model for cascading failures in complex networks. Phys. Rev. E, 69, pp. 045104.

6. Dysthe, K., Krogstad, H. E., and Muller, P. (2008). Oceanic rogue waves. Annu. Rev. Fluid Mech., 40, pp. 287-310.

7. Eckmann, J.P.; Kamphorst, S.O.; Ruelle D. (1987). Recurrence plot of dynamical systems. Europhys. Lett., 5, pp. 973-977

8. Facchini, A.; Kantz, H. (2007). Curved structures in recurrence plots: The role of the sampling time. Physical Review E, 75.

9. Facchini, A.; Mocenni, C.; Vicino A. (2009). Generalized recurrence plots for the analysis of images from spatially distributed systems. Physica D, 238, pp. 162-169

10. Gao, J.B.; Cai, H.Q. (2000). On the structures and quantification of recurrence plots. Physics Letters A, 270(1-2), pp. 75-87.

11. Gierer, A.; Meinhardt H. (1972). A theory of biological pattern formation. Kybernetik, 12, pp. 30-39

12. Giuliani, A.; Benigni, R.; Webber, C.L.; Zbilut, J.P; Sirabella, P.; Colosimo, A. (2002). Nonlinear Signal Analysis Methods in the Elucidation of Protein Sequence-Structure Relationships. Chemical Reviews, 102(5), pp. 1471-1492.

13. Guo, L.; Billings S. (2007). State-space reconstruction and spatio-temporal prediction of lattice dynamical systems. IEEE Trans. Automat. Control, 52. pp. 622-632

14. Horai, S.; Yamada, T.; Aihara, K. (2002). Determinism Analysis with Iso-Directional Recurrence Plots. IEEE Transactions - Institute of Electrical Engineers of Japan C, 122(1), pp. 141-147.

15. Iwanski, Bradleyб E. (1998). Recurrence plots of experimental data: To embed or not to embed? Chaos.8(4), pp. 861-871.

16. Joseph P. Zbilut, Nitza Thomasson, Charles L. Webber, (2002). Recurrence quanti?cation analysis as a tool for nonlinear exploration of nonstationary cardiac signals, Medical Engineering & Physics 24, pp. 53-60

17. Kantz, H.; Schreiber, T.; Hegger R. (2002). Nonlinear Time Series Analysis. Cambridge University Press

18. Kretschmer, M., Klimis, G. M., Choi, C. J. (1999). Increasing returns and social contagion in cultural industries. British Journal of Management, 10(s1), pp. 61-72.

19. Krishnan, A.; Giuliani, A.; Zbilut, J.P.; Tomita, M. (2008). Implications from a Network-Based Topological Analysis of Ubiquitin Unfolding Simulations. PLoS ONE, 3(4).

20. Kruskal, J. B. (1964). Multidimensional scaling by optimizing goodness of fit to a nonmetric hypothesis. Psychometrika, 29(1), pp. 1-27.

21. Lorenz, E. N. (1963). Deterministic Nonperiodic Flow. Journal of the Atmospheric Sciences, 20, pp.120-141.

22. Manuca, R.; Savit R. (1996). Stationarity and nonstationarity in time series analysis Physica D-99, pp. 134-161

23. March, T.K.; Chapman, S.C.; Dendy, R.O. (2005). Recurrence plot statistics and the effect of embedding. Physica D, 200(1-2), pp. 171-184.

24. Marcos-Nikolaus, P.; Solй R. (2002). Spatial forecasting: detecting determinism from single snapshots. Chaos, 12 (2), pp. 369-376

25. Marwan, N. (1999). Analyse von Recurrence Plots. Master's thesis, Dresden University of Technology.

26. Marwan, N. (2017). Historical Review of Recurrence Plots. Potsdam Institute for Climat Impact Research

27. Marwan, N.; Romano, M.C.; Thiel, M.; Kurths J. (2007). Recurrence plots for the analysis of complex systems. Phys. Rep., 438, pp. 237-329

28. McGuire, G.; Azar, N.B.; Shelhamer, M. (1997). Recurrence matrices and the preservation of dynamical properties. Physics Letters A, 237(1-2), pp. 43-47.

29. Mindlin, G. M.; Gilmore, R. (1992). Topological analysis and synthesis of chaotic time series. Physica D, 58(1-4), pp. 229-242.

30. Mocenni, C.; Facchini, A.; Vicino, A. (2010). Identifying the dynamics of complex spatio-temporal systems by spatial recurrence properties. Proc Natl Acad Sci U S A. 107(18), pp. 8097-8102.

31. Mocenni, C.; Facchini, A.; Vicino, A. (2011). Comparison of recurrence quantification methods for the analysis of temporal and spatial chaos. Mathematical and Computer Modelling Volume 53, Issues 7-8, pp. 1535-1545

32. Monk, A.T.; Compton, A.H. (1939). Recurrence phenomena in cosmic-ray intensity reviews of modern physics, 11, pp. 173

33. Nicolis, C.; Balakrishnan, V.; Nicolis G. (2006). Extreme Events in Deterministic Dynamical Systems. Physical Review Letters 97(21)

34. Platt, N.; Sirovich, L.; Fitzmaurice, N. (1991). An investigation of chaotic Kolmogorov flows. Phys. Fluids A-3, pp. 681-696

35. Procaccia, I.; Thomae, S.; Tresser, C. (1987). First-return maps as a unified renormalization scheme for dynamical systems. Physical Review A, 35(4), pp. 1884-1900.

36. Provenzale, A.; Smith, L.A.; Vio, R.; Murante, G. (1992). Distinguishing between low-dimensional dynamics and randomness in measured time series. Physica D, 58(1-4), pp. 31-49.

37. Recurrence Quantification Analysis [Электронный ресурс] - URL: http://www.recurrence-plot.tk/

38. Rohde, G.K.; Nichols, J.M.; Dissinger, B.M.; Bucholtz, F. (2008). Stochastic analysis of recurrence plots with applications to the detection of deterministic signals. Physica D, 237(5), pp. 619-629

39. Ropelewski, C. F., and Halpert, M. S. (1987). Global and regional scale precipitation patterns associated with the El Nino/Southern Oscillation. Monthly Weather Review, 115(8), pp. 1606-1626

40. RQA in python [Электронный ресурс] - URL: pypi.org/project/PyRQA/

41. RQA in R [Электронный ресурс] - URL: www.rdocumentation.org/ packages/nonlinearTseries/versions/0.2.3/topics/rqa

42. Scheffer, M., Bascompte, J., Brock, W. A., Brovkin, V., Carpenter, S. R., Dakos, V., Held, H., Van Nes, E. H., Rietkerk, M., and Sugihara, G. (2009). Earlywarning signals for critical transitions. Nature, 461(7260), pp. 53-59.

43. Strogatz S. (2000). Nonlinear Dynamics and Chaos Perseus Books.

44. Thelwall, M. (2018). Social Web Text Analytics with Mozdeh. University of Wolverhampton.

45. Themistoklis P. Sapsis (2018). New perspectives for the prediction and statistical quantification of extreme events in high-dimensional dynamical systems. Cambridge.

46. Thiel, M.; Romano, M.C.; Kurths, J. (2003). Analytical Description of Recurrence Plots of white noise and chaotic processes. Applied Nonlinear Dynamics, 11(3), pp. 20-30.

47. Thiel, M.; Romano, M.C.; Kurths, J. (2004). Generalized Synchronization Indices based on Recurrence in Phase Space.

48. Thiel, M.; Romano, M.C.; Kurths, J.; Grebogi, C. (2007). Estimation of the direction of the coupling by conditional probabilities of recurrence. Physical Review E.

49. Thiel, M.; Romano, M.C.; Kurths, J.; Kiss, I.Z.; Hudson, J. (2005). Detection of synchronization for non-phase-coherent and non-stationary data. Europhysics Letters, 71(3), pp. 466-472.

50. Thiel, M.; Romano, M.C.; Kurths, J.; Read, P.L. (2004). Estimation of dynamical invariants without embedding by recurrence plots. Chaos, 14(2), pp. 234-243.

51. Thiel, M.; Romano, M.C.; Kurths, J.; von Bloh, W. (2004). Multivariate Recurrence Plots. Physics Letters A, 330(3-4), pp. 214-223.

52. Thiel, M.; Romano, M.C.; Kurths, J.; Zou, Y.; Pazo, D. (2007). Distinguishing quasiperiodic dynamicsґ from chaos in short-time series. Physical Review E, 76(1).

53. Trulla, L.L.; Giuliani, A.; Webber, C.L.; Zbilut, J.P. (1996). Recurrence quantification analysis of the logistic equation with transients. Physics Letters A, 223(4), pp. 255-260.

54. United States Geological Survey [Электронный ресурс] - URL: https://earthquake.usgs.gov/.

55. Webber, C.L.; Zbilut, J.P. (1992). Embeddings and delays as derived from quantification of recurrence plots. Physics Letters A, 171(3-4), pp. 199-203.

56. Webber, C.L.; Zbilut, J.P. (1994). Dynamical assessment of physiological systems and states using recurrence plot strategies. Journal of Applied Physiology, 76(2), pp. 965-973.

57. Webber, C.L.; Zbilut, J.P. (2007). Recurrence quantification analysis: Introduction and historical context. International Journal of Bifurcation and Chaos, 17(10), pp. 3477-3481.

58. Webber, C.L.; Zbilut, J.P.; Giuliani, A. (1998). Detecting deterministic signals in exceptionally noisy environments using cross-recurrence quantification. Physics Letters A, 246(1-2), pp. 122-128.

59. Yahoo Finance [Электронный ресурс] - URL: https://finance.yahoo.com/

60. Zbilut, J.P.; Koebbe, M.; Loeb, H.; Mayer-Kress, G. (1990). Use of Recurrence Plots in the Analysis of Heart Beat Intervals. IEEE Computer Society Press, pp. 263-266.

61. Киселев В.Б. (2006). Рекуррентный анализ - теория и практика. - Научно-технический вестник СПбГУ ИТМО. 2006. В. 29. - С. 118-127.

62. Киселёв В.Б. (2009). Разработка и исследование методов и алгоритмов построения математических моделей с использованием рекуррентных диаграмм.

63. Пискун, O.; Пискун, С. (2011). Recurrence Quantification Analysis of Financial Market Crashes and Crises.