title: Creation of a neural network filter of corpus data for Cyrillic languages
metadata.name: dc.contributor.advisor
metadata.value: Колмогорова Анастасия Владимировна
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Kolmogorova Anastasia Vladimirovna
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Плюснина Елизавета Алексеевна
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Plusnina Elizaveta Alekseevna
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Митренина Ольга Владимировна
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Mitrenina Olga Vladimirovna
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2024-07-25T11:51:23Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2024-07-25T11:51:23Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2024
metadata.name: dc.identifier.other
metadata.value: 109958
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/46908
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В работе рассматривается процесс создания нейросетевого классификатора для языков кириллического алфавита. Исследование включает в себя описание процесса подготовки лингвистического корпуса данных, в который входят: сбор данных, выравнивание текстов, токенизация, векторизация. В работе также проводится сопоставительный анализ представленных библиотек для классификации языков: Pycld2, LangID, FastText, fasttext-langdetect. В целях повышения точности классификации представленных данных проводится попытка обучения нейросетевых алгоритмов, таких как: CNN, LSTM, GRU и TransformerTiny. По результатам исследования выявляется наилучший алгоритм для решения поставленной задачи.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: The paper deals with the process of creating a neural network classifier for Cyrillic alphabet languages. The study includes a description of the process of preparing the linguistic data corpus, which includes: data collection, text alignment, tokenisation, vectorisation. The work also includes a comparative analysis of the presented libraries for language classification: Pycld2, LangID, FastText, fasttext-langdetect. In order to improve the classification accuracy of the presented data, an attempt is made to train neural network algorithms such as: CNN, LSTM, GRU and TransformerTiny. Based on the results of the study, the best algorithm is identified to solve the problem at hand.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: классификация языков
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: нейронные сети
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: трансформер
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: параллельные корпусы
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: классификатор
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: кириллический алфавит
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: CNN
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Transformer
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: LSTM
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: GRU
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: parallel corpora
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: transformer
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: classification
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Creation of a neural network filter of corpus data for Cyrillic languages
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Создание нейросетевого фильтра корпусных данных для языков кириллической письменности
metadata.lang: ru_RU
resources.filename: Plusnina_EA.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/46908/2/Plusnina_EA.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 4,16 MB
resources.filename: reviewSV_nauchr_plusina.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/46908/3/reviewSV_nauchr_plusina.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 124 kB
resources.filename: reviewSV_st109958_Plusnina_Elizaveta_Alekseevna_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/46908/4/reviewSV_st109958_Plusnina_Elizaveta_Alekseevna_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 1,78 kB