title: Clusterisation of verbal expressions in a text corpus using the stochastic ranking method
metadata.name: dc.contributor.advisor
metadata.value: Митрофанова Ольга Александровна
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Букия Григорий Теймуразович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Bukiia Grigorii
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: кандидат филологических наук, доцент О.А. Митрофанова
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Candidate of Philology, Associate Professor O. Mitrofanova
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2016-08-31T12:39:41Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2016-08-31T12:39:41Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2016
metadata.name: dc.identifier.other
metadata.value: 042537
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/3043
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Данная работа посвящена автоматической кластеризации документов с присвоением тематических меток. Работа состоит из введения, трех глав, заключения, списка литературы и приложений.
  Количество информации в интернете увеличивается в геометрической прогрессии. Такой объем данных зачастую не поддается ручной обработке. Возникает задача автоматически упорядочить коллекцию, объединяя в одну группу тематически близкие документы. Стандартные методы кластеризации не позволяют определить тему той или иной группы. Определение темы вручную вызывает ряд проблем. Во-первых, для этого потребуется прочитать несколько документов из каждой группы – это далеко не всегда удобно. Во-вторых, часто автоматическая классификация, учитывающая внутренние свойства документов, не вполне согласуется с классификацией, выполненной человеком. Поэтому в качестве меток для каждого класса удобно использовать ключевые слова или выражения, характерные именно для соответствующего класса.
  Цель данной работы – решение задачи автоматической кластеризации новостных документов и расстановка списка тематических меток для каждого класса. В качестве тематических меток выделяются не только ключевые слова, но и биграммные конструкции, при этом учитывается степень связи элементов каждой биграммы.
   Исходя из данной цели, а также учитывая указанные выше проблемы, формулируются следующие задачи:
  1)	анализ методов и способов оценки качества кластеризации;
  2)	формулировка лингвистической базы исследования – грамматики конструкций и составление методов оценки степени связи элементов биграммы;
  3)	описание методов выделения ключевых слов.
  Предполагается также решение следующих практических задач:
  1)	кластеризация корпуса новостных документов;
  2)	составление тематического словаря, состоящего из ключевых слов;
  3)	расширение тематического словаря биграммными конструкциями;
  4)	назначение меток к тематическому классу документов.
  Для решения поставленных задач используются различные методы кластерного анализа и статистики оценки корреляции в таблице сопряжения.
  Материалом для исследования послужил корпус текстов из новостного портала Ruposters.
  Данный метод, учитывающий структуру новостных порталов, имеет свои преимущества перед стандартными методами. Простота реализации и широта применения обеспечивают актуальность работы. 
  Практические результаты данной работы частично опубликованы в пяти статьях и в настоящий момент готовятся дополнительные публикации.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: The master paper deals with automatic document clustering and assigning topic markers to resulting clusters.
  The amount of data in the Internet grows rapidly and resists manual processing. One of the tasks, therefore, is to cluster a corpus so that similar documents should appear in the same group. The widely used clustering methods may be used to group the data, but the main topic of the group remains unknown. Obviously, manual annotation is difficult and key words or phrases should be extracted instead.
  The objective of the work is to cluster news feed and assign topic markers to each cluster. Topic markers are interpreted not only as single words but also as bigrams. The association strength within a phrase is also taken into account. The following tasks are solved:
  1)	the analysis of clustering methods and their quality assessement;
  2)	the description of linguistic grounds (Construction grammar and association measures);
  3)	the survey on keyword extraction methods;
  As for the experimental part, we present the following results:
  1)	news feed corpus clustering;
  2)	topic dictionary construction;
  3)	adding key bigrams to topic dictionary;
  4)	assigning topic markers to a cluster.
  The tasks are solved by means of various clustering methods and association strength measures.
  We use news from the Ruposters site as experimental data.
  The proposed method takes into account news feed structure and is easy to implement and exploit. The results of the work were partly discussed in several papers on the topic.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: Кластерный анализ
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: тематическое моделирование
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: выделение ключевых слов
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: грамматика конструкций
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Cluster analysis
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Topic modeling
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Keyword extraction
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Construction grammar
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Clusterisation of verbal expressions in a text corpus using the stochastic ranking method
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Кластеризация языковых выражений в корпусе текстов на основе стохастического ранжирования
metadata.lang: ru_RU
resources.filename: Diplomvsyo.docx
resources.url: https://dspace.spbu.ru/bitstream/11701/3043/1/Diplomvsyo.docx
resources.format: Microsoft Word XML
resources.description: Article
resources.size: 629,12 kB
resources.filename: reviewSV_Otzyv_Bukiya.doc
resources.url: https://dspace.spbu.ru/bitstream/11701/3043/2/reviewSV_Otzyv_Bukiya.doc
resources.format: Microsoft Word
resources.description: ReviewSV
resources.size: 41,5 kB
resources.filename: reviewSV_st005608_Mitrofanova_Olga_Aleksandrovna_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/3043/3/reviewSV_st005608_Mitrofanova_Olga_Aleksandrovna_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 9,96 kB
resources.filename: reviewSV_Recenziya_Bukiya.doc
resources.url: https://dspace.spbu.ru/bitstream/11701/3043/7/reviewSV_Recenziya_Bukiya.doc
resources.format: Microsoft Word
resources.description: ReviewRev
resources.size: 37 kB
resources.filename: reviewSV_st005608_Mitrofanova_Olga_Aleksandrovna_(reviewer)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/3043/8/reviewSV_st005608_Mitrofanova_Olga_Aleksandrovna_%28reviewer%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewRev
resources.size: 8,82 kB