title: Language model fine-tuning with specialised corpora
metadata.name: dc.contributor.advisor
metadata.value: Крижановский Андрей Анатольевич
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Krizanovskij Andrej Anatolevic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Гудков Вадим Вадимович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Gudkov Vadim Vadimovic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Митрофанова Ольга Александровна
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Mitrofanova Olga Aleksandrovna
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2023-07-26T12:44:46Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2023-07-26T12:44:46Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2023
metadata.name: dc.identifier.other
metadata.value: 071220
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/42745
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Цель данного исследования была разработать новый подход к настройке и оптимизации нейросетевых языковых моделей с использованием специализированных и малоресурсных языков. Новизна заключалась в создании новой модели распознавания именованных сущностей, способной присваивать несколько классов одному токену, и исследовании возможности языкового переноса на малоресурсные языки. Кроме того, был создан большой корпус для задач генерации парафраз. Была разработана методология введения информации из специализированных корпусов в предварительно обученные общие языковые модели. В ходе исследования был проведен общий анализ существующих методов и подходов к языковым моделям, изучено векторное представление слов и модель BERT, исследованы механизмы само-внимания и "многоголовочного" внимания, исследованы возможности языкового переноса и представлен размеченный корпус медицинских рецептов Drugrel. В результате был получен формализованный набор данных и модели, которые позволяют использовать специализированные корпусы текстов для решения прикладных задач с использованием общих языковых моделей.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: This study aimed to develop a novel approach for fine-tuning and optimizing neural language models with specialized corpora and low-resource language corpora. The novelty lay in creating a new entity recognition model capable of assigning multiple classes to a single token and investigating the potential for language transfer to under-resourced languages. Furthermore, a large corpus for paraphrase generation tasks was developed. The target was to develop a methodology for incorporating information from specialized corpora into pre-trained general language models. The research provided a comprehensive study of existing methods and approaches to language models, delved into word vector representation and BERT model, examined self-attention and multi-head attention mechanisms, explored language transfer capabilities, and presented a marked corpus of medical prescriptions Drugrel. The anticipated result was a formalized dataset and models that exploited specialized text corpora for applied tasks using general language models.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: Нейросетевые языковые модели
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Специализированные корпуса
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Распознавание именованных сущностей
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Языковой перенос
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Генерация парафраз
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: BERT
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Neural language models
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Specialized corpora
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: datasets
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Named Entity recognition
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Language transfer
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Paraphrase generation
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: BERT
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Language model fine-tuning with specialised corpora
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Разработка формальных языковых моделей на основе специализированных корпусов текстов
metadata.lang: ru_RU
resources.filename: VKR_Gudkov_5.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42745/2/VKR_Gudkov_5.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 4,33 MB
resources.filename: reviewSV_Otzyv_Gudkov.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42745/3/reviewSV_Otzyv_Gudkov.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 228,97 kB
resources.filename: reviewSV_st071220_Gudkov_Vadim_Vadimovic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/42745/4/reviewSV_st071220_Gudkov_Vadim_Vadimovic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 12 kB