title: Old Church Slavonic corpus linguistic issues
metadata.name: dc.contributor.advisor
metadata.value: Соболев Андрей Николаевич
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Sobolev Andrej Nikolaevic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Афанасьев Илья Андреевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Afanasev Ila Andreevic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Бабанов Андрей Владимирович
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Babanov Andrej Vladimirovic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2021-07-31T18:39:34Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2021-07-31T18:39:34Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2021
metadata.name: dc.identifier.other
metadata.value: 079549
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/31092
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В работе исследуется создание корпуса старославянского языка, и проводится подробный анализ лингвистических проблем, с которыми исследователь может столкнуться в этом процессе. Даётся краткая характеристика состояния корпусной лингвистики к концу I четверти XXI века. Старославянский язык характеризуется как языковой идиом, обладающий рядом ключевых особенностей, отделяющих его от иных славянских языков, среди которых особенно выделяется ряд фонетических характеристик.  С их учётом был сформирован текстовый состав корпуса старославянского языка. Написан ряд регулярных выражений, помогающих в предобработке текста. Был создан уникальный набор тэгов, базирующийся на U-POS, наборе тэгов Universal Dependencies, и была проведена частеречная разметка при помощи скрытой марковской модели, усиленной набором правил. Точность частеречной разметки составила 81% на тестовом наборе данных, и 51% - на  значительно отличающимся от него тексте Киевских листков. С учётом результатов частеречной разметки была проведена лемматизация при помощи рекуррентной нейронной сети. Для вычисления её точности были применены раннее почти не применявшиеся метрики, меры сходства строк: расстояния Левенштейна, Дамерау-Левенштейна и Джаро-Винклера. Обоснована необходимость их использования. Точность на тренировочном наборе данных достигла 85%, на тексте Киевских листков - 55%. Ряд текстов был размечен и помещён в базу данных, откуда может быть доступен через веб-приложение, написанное на C#, Python и JavaScript. Таким образом, был описан пайплайн разработки корпуса старославянского языка, выявлены лингвистические проблемы, с которыми исследователь сталкивается при его практическом осуществлении.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: The paper examines the creation of the corpus of the Old Church Slavonic language, and provides a detailed analysis of the linguistic problems that a researcher may encounter in the process of making such corpus. A brief description of the state of corpus linguistics by the end of the first quarter of the XXI century is given. The Old Church Slavonic language is characterized as a linguistic idiom, which possesses a number of key features that separate it from other Slavic languages, among which a number of phonetic characteristics stand out. Taking them into consideration, the texts that are going to form the corpus of the Old Slavonic language have been defined. A number of regular expressions have been written for the purposes of text preprocessing. A unique tag set based on U-POS, the Universal Dependencies tag set, was created, and POS tagging was performed using a hidden Markov model reinforced by a set of rules. The accuracy of the POS tagging was 81% on the test data set, and 51% on the text of the Kiev Folia that was significantly different from the test data set. Taking into account the results of POS tagging, lemmatization was performed using a recurrent neural network. To calculate its accuracy, we utilized previously almost unused for this purposes metrics, measures of string similarity: the Levenshtein, Damerau-Levenshtein, and Jaro-Winkler distances. The reasons for necessity of their use are provided. The accuracy on the training data set reached 85%, on the text of the Kiev Folia - 55%. A number of texts have been marked up and placed in a database, from where they can be accessed via a web application written in C#, Python, and JavaScript. Thus, the pipeline of the development of the corpus of the Old Church Slavonic language was described, and the linguistic problems that the researcher faces during its practical implementation were identified.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: старославянский язык
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: корпусная лингвистика
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: автоматическая обработка естественного языка
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: АОТ
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: лингвистическая гетерогенность
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Old Church Slavonic
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: corpus linguistics
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: natural language processing
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: NLP
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: linguistic heterogenuity
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Old Church Slavonic corpus linguistic issues
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Лингвистические проблемы корпуса старославянского языка
metadata.lang: ru_RU
resources.filename: Lingvisticeskie_problemy_korpusa_staroslavanskogo_azyka.docx
resources.url: https://dspace.spbu.ru/bitstream/11701/31092/1/Lingvisticeskie_problemy_korpusa_staroslavanskogo_azyka.docx
resources.format: Microsoft Word XML
resources.description: Article
resources.size: 517,48 kB
resources.filename: reviewSV_Afanasev_VKR_ONR.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/31092/2/reviewSV_Afanasev_VKR_ONR.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 796,12 kB