title: Investigation of classification problem of noisy and polythematic websites
metadata.name: dc.contributor.advisor
metadata.value: Крижановский Андрей Анатольевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Попов Никита Алексеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Popov Nikita
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Печников Андрей Анатольевич
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Pechnikov Andrei Аnаtolevich
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2018-07-26T15:26:31Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2018-07-26T15:26:31Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2018
metadata.name: dc.identifier.other
metadata.value: 040324
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/13647
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В работе описывается исследование задачи классификации веб-сайтов с учётом зашумлённости данных и политематичности. Зашумлённостью в данной работе полагается наличие веб-страниц сайта или их частей, которые слабо относятся к категории веб-сайта или не относятся к ней совсем. Для анализа были выбраны веб-сайты, относящиеся к русскоязычной части научно-образовательного Веба, и учтены их особенности, влияющие на решение поставленной задачи. Предлагаемое решение включает в себя следующие этапы: загрузка и обработка текстовых данных веб-сайтов, выбор характеристик для анализа, построение классификатора на основе выбранного метода машинного обучения. Также приводится архитектура реализованной программы с описанием используемых библиотек и представлены результаты работы на подготовленном наборе тестовых данных. Результаты проведённых экспериментов были анализированы и критически оценены.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: The paper describes the research of problem of classification of websites with taking into account data noisiness and polythematism. Noisiness in this work is the presence of web pages of site or parts of them that are poorly related to the category of the website or do not relate to it at all. There were chosen websites related to the Russian-speaking part of the scientific and educational web for analysis, and their features that affect the solution of the task were taken into account. The proposed solution includes the following steps: downloading and processing text data of websites, selecting characteristics for analysis, building a classifier based on the selected method of machine learning. Also, there are presented the architecture of the implemented program, list of used libraries and the results of the work on the prepared set of test data. The results of the conducted experiments were analyzed and critically evaluated.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: классификация
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: веб-сайты
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: зашумлённость данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: classification
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: websites
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data noisiness
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Investigation of classification problem of noisy and polythematic websites
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Исследование задачи классификации веб-сайтов с учётом свойств зашумлённости и политематичности
metadata.lang: ru_RU
resources.filename: diploma.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/13647/1/diploma.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 2,79 MB
resources.filename: reviewSV_Popov_otz_001.jpg
resources.url: https://dspace.spbu.ru/bitstream/11701/13647/2/reviewSV_Popov_otz_001.jpg
resources.format: JPEG
resources.description: ReviewSV
resources.size: 1,19 MB
resources.filename: reviewSV_review_Popov_by_Krizhanovsky_2018.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/13647/3/reviewSV_review_Popov_by_Krizhanovsky_2018.pdf
resources.format: Adobe PDF
resources.description: ReviewRev
resources.size: 73,58 kB
resources.filename: reviewSV_stt07324_Krizhanovskij_Andrej_Anatolevich_(reviewer)(En).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/13647/4/reviewSV_stt07324_Krizhanovskij_Andrej_Anatolevich_%28reviewer%29%28En%29.txt
resources.format: Text
resources.description: ReviewRev
resources.size: 593 B
resources.filename: reviewSV_stt07324_Krizhanovskij_Andrej_Anatolevich_(reviewer)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/13647/5/reviewSV_stt07324_Krizhanovskij_Andrej_Anatolevich_%28reviewer%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewRev
resources.size: 1,27 kB
resources.filename: reviewSV_st006778_Pechnikov_Andrej_Anatolevich_(supervisor)(En).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/13647/6/reviewSV_st006778_Pechnikov_Andrej_Anatolevich_%28supervisor%29%28En%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 2,81 kB
resources.filename: reviewSV_st006778_Pechnikov_Andrej_Anatolevich_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/13647/7/reviewSV_st006778_Pechnikov_Andrej_Anatolevich_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 5,53 kB