Методы автоматической обработки текстов для вычислительных социальных наук
Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «Методы автоматической обработки текстов для вычислительных социальных наук»
Abstract
The ongoing global discussions on environmental issues such as air and water pollution, climate change, and reduced species diversity have highlighted the need for new methods and tools to study and understand the complexity of these relevant issues. This work uses modern text processing methods to analyze the discourse of social media related to ecology and environmental aspects. The study is based on tag-sampled data from Russian news agency “Ria Novosti” over the past few years. The main approaches combine topic modelling approach: latent semantic analysis, latent Dirichlet allocation, Embedded topic model and text classification (for mining texts related to ecology). These approaches allow to collect a representative body of environmental texts, identify keywords and topics, and trace hidden semantic topics and follow them through time. The results of the study will allow us to assess the current environmental situation through the prism of news sources, as well as to track the dynamics over the past few years.
Key words: environmental journalism, topic modeling, latent semantic analysis, latent Dirichlet allocation
Аннотация
Непрекращающиеся глобальные дискуссии по таким экологическим проблемам, как изменение климата, сокращение видового разнообразия, выявили необходимость в новых методах и инструментах для изучения этих актуальных проблем. В данной работе используют ся современные методы обработки текстов для анализа дискурса социальных медиа, связанного с экологией и экологическими проблемами. Исследование основано на данных российского информационного агентства “РИА Новости” за последние несколько лет. Методы этого исследования объединяют в себе тематическое моделирование:
латентный семантический анализ, латентное размещение Дирихле,
тематическое моделирование в пространстве векторных представлений слов ,
и классификацию на основе модели -трансформера BERT для составления корпуса экологических текстов . Эти методологические подходы позволяют собрать репрезентативный корпус экологических текстов, выявить ключевые
слова и тем атики, проследить их характер и динамику . Результаты исследования позволят нам оценить текущую экол огическую ситуацию через призму новостных источников.
Ключевые слова: экологическая журналистика, тематическое моделирование, латентный семантический анализ, латентное размещение Дирихле, тематическое моделирование в пространстве векторных представлений слов
Оглавление
1.Введение................................................................................................................................................................................... 1
1.1 Актуальность. Исследовательская новизна и практическая значимость
1
1.2 Цели и задачи исследования........................................................................................................... 2
2. Обзор существующих подходов и смежных работ.................................................................. 3
2.1 Экологическая журналистика. Исследование уровня новостного
внимания в контексте телевизионных новостей 1979-2009 гг............................ 3
2.2 Исследование изменения климата в контенте Twitter........................................... 5
2.3 Анализ дискурсов социальных акторов по вопросам изменения климата, энергетической и продовольственной безопасности в Бразилии .7
3.
Методология .........................................................................................................
8
3.1
Анализ данных и особенности анализа текстовых данных ....................
8
3.2
Тематическое моделирование ..................................................................
9
3.2.1 Латентный семантический анализ...............................................
9
3.2.2 Латентное размещение Дирихле ...............................................
10
3.2.3 Тематическое моделирование в пространстве векторных
представлений слов.............................................................................
11
4.
Анализ экологических текстов на основе данных «РИА Новости» ................
12
4.1
Сбор данных и формирование корпуса. Аргументация выбора
источника ......................................................................................................
12
4.2
Анализ внимания к экологическим проблемам ....................................
13
4.3
Тематическое моделирование. Полученные результаты ......................
17
4.4
Майнинг экологических текстов для 2014-2015 гг. ..............................
23
4.5
Динамика ключевых новостных экологических тематик.....................
23
5.
Заключение .........................................................................................................
27
6.
Библиографический список ...............................................................................
28
6. Библиографический список
1. Aggarwal C.C., Zhai C. A Survey of Text Classification Algorithms. In: Aggarwal C., Zhai C. (eds) Mining Text Data. Springer, Boston, MA, 2012 https://doi.org/10.1007/978-1-4614-3223-4_6
2. Benites-Lazaro L.L., Giatti L., Giarolla A. Topic modeling method for analyzing social actor discourses on climate change- energy and food security, Energy research & social science. 2018, 45, pp. 318–330.
3. Berry M. W., Castellanos M. (editors) Survey of Text Mining: Clustering, Classification, and Retrieval, Second Edition, 2007, New York: Springer-Verlag.
4. Blei D. M., Ng A. Y., Jordan M. I. Latent dirichlet allocation //Journal of machine Learning research. – 2003. – Т. 3. – №. Jan. – С. 993-1022.
5. Charu C. Aggarwal, Cheng Xiang Zhai (editors) (2012) Mining Text Data, 2012, New York: Springer-Verlag.
6. Cox R. J. The environmental communication and the public sphere. Sage Publishing, Inc., Washongton, 2010. 385 p.
7. Deerwester S., S.T. Dumais S.T., G.W. Furnas G.W., T.K. Landauer T.K., R. Harshman R. Indexing by latent semantic analysis, J. Am. Soc. Inf. Sci. 41 (1990), pp. 391–407.
8. Devlin J. et al. Bert: Pre-training of deep bidirectional transformers for language understanding //arXiv preprint arXiv:1810.04805. – 2018.
9. Dieng A. B., Ruiz F. J. R., Blei D. M. Topic modeling in embedding spaces //arXiv preprint arXiv:1907.04907. – 2019.
10.Djerf-Pierre M. The Crowding-out effect, Journalism Studies, 13 (4), pp. 499–516, https://doi.org/10.1080/1461670X.2011.650924.
11. Evangelopoulos N., Zhang X., Prybutok V. R. Latent semantic analysis: five methodological recommendations //European Journal of Information Systems. – 2012. – Т. 21. – №. 1. – С. 70-86.
12.Foltz P. W. Latent semantic analysis for text-based research //Behavior Research Methods, Instruments, & Computers. – 1996. – Т. 28. – №. 2. – С. 197-202.
13. Han J., Kamber M., Pei J. Data Mining: Concepts and Techniques Third Edition,
2012.
14. Hanson A. The Mass Media and Environmental issues. London and New York:
Leicester University Press, 1993.
15. Hofmann T. Unsupervised learning by probabilistic latent semantic analysis //Machine learning. – 2001. – Т. 42. – №. 1-2. – С. 177-196.
16. Hotho А., Nurnberger А. , Paaß G. A Brief Survey of Text Mining, Ldv Forum, 2005, 20 (1), pp. 19–62.
17. Jacobi C., van Atteveldt W. & Welbers K. Quantitative analysis of large amounts of journalistic texts using topic modelling, Digital Journalism, 2015, Vol. 4, pp. 1– 18. https://doi.org/10.1080/21670811.2015.1093271
18. Jiawei Han, Micheline Kamber, Jian Pei, Data Mining: Concepts and Techniques
Third Edition, 2011
19. Landauer T. K., Foltz P. W., Laham D. An introduction to latent semantic analysis, Discourse processes. – 1998. – Т. 25. – №. 2-3. – С. 259-284.
20. Sun C. et al. How to fine-tune BERT for text classification?, China National Conference on Chinese Computational Linguistics. – Springer, Cham, 2019. – С. 194-206.
21. The Global Risks Report 2020, World Economic Forum, 15th Edition
22. Veltri G. A., Atanasova D. Climate change on Twitter: Content, media ecology and information sharing behavior, Public Understanding of Science, 2015, https://doi.org/10.1177/0963662515613702.
23. Wendling Z. A., Emerson, J.W. Esty, D.C. Levy, M. A., de Sherbinin, A., et al. Environmental Performance Index. 2018, New Haven, CT: Yale Center for Environmental Law & Policy.
24. WWF European Policy office annual review, 2019.
