title: Automatic classification of Reuters news corpus into IPTC taxonomy
metadata.name: dc.contributor.advisor
metadata.value: Добрынин Владимир Юрьевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Садреева Юлия Ильдаровна
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Sadreeva Yulia
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: кандидат физико-математических наук, доцент В.Ю. Добрынин
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Candidate of Physics and Mathematics, Associate Professor V.Iu. Dobrynin
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2016-10-10T02:12:18Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2016-10-10T02:12:18Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2016
metadata.name: dc.identifier.other
metadata.value: 011093
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/4113
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В этой работе предлагаются алгоритмы для автоматической классификации новостей в таксономию медиа-тематик IPTC, которая представляет собой иерархическую структуру классов. В качестве тестовой коллекции используется корпус новостей Reuters-21578. Особенностью работы является отсутствие обучающей выборки, поэтому для решения задачи нельзя воспользоваться стандартными методами классификации. По этой причине в работе были применены два подхода: выделение групп схожих документов при помощи кластеризации методом k-средних и выделение скрытых тем, используя латентное размещение Дирихле. Для того, чтобы сопоставить группы документов предварительно заданным классам, описания классов расширяются при помощи поисковой машины, и затем находится класс, ближайший к группе документов. Для оценки качества классификации используется экспертная оценка. Эксперимент показал, что алгоритм, основанный на k-means дает неплохие результаты по формированию документов в классы. Дальнейшие модификации этого алгоритма могут оказаться весьма полезными для новостных агентств и агрегаторов.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: In this paper we propose algorithms for automatic classification news items into the IPTC Media Topics taxonomy, which is a hierarchical structure of classes. As a test collection are used the news corpus Reuters-21578. A feature of this work is the lack of training set, so to solve the problem the standard classifiers can not be used. For this reason we used two approaches: creation groups of documents by k-means clustering and another one is selection latent document’s topics by latent Dirichlet allocation. In order to compare clusters to predefined classes, class definitions are extended using a search engine, and then calculated class, which is the nearest to group of documents. To assess the quality of the classification we used human review. The experiment showed that the algorithm based on k-means gave a correct result for the formation documents’ classes. Further modifications of the algorithm can be very useful for news agencies and aggregators.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: автоматическая классификация
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: рубрикатор
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: таксономия
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: кластеризация
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: automatic classification
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: categorization
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: taxonomy
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: clustering
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Automatic classification of Reuters news corpus into IPTC taxonomy
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Автоматическая классификация новостей из коллекции Reuters в таксономию IPTC
metadata.lang: ru_RU
resources.filename: VKR_Sadreeva.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/4113/1/VKR_Sadreeva.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 673,71 kB
resources.filename: reviewSV_st006729_Dobrynin_Vladimir_YUrevich_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/4113/2/reviewSV_st006729_Dobrynin_Vladimir_YUrevich_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 10,02 kB
resources.filename: reviewSV_st006729_Dobrynin_Vladimir_YUrevich_(reviewer)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/4113/6/reviewSV_st006729_Dobrynin_Vladimir_YUrevich_%28reviewer%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewRev
resources.size: 5,62 kB