title: The study of the features of additional training of large language models
metadata.name: dc.contributor.advisor
metadata.value: Бортников Павел Павлович
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Bortnikov Pavel Pavlovic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Прибытков Данил Александрович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Pribytkov Danil Aleksandrovic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Митренина Ольга Владимировна
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Mitrenina Olga Vladimirovna
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2024-07-25T11:50:46Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2024-07-25T11:50:46Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2024
metadata.name: dc.identifier.other
metadata.value: 090411
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/46654
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В работе исследованы методы дообучения больших языковых моделей с использованием Retrieval-Augmented Generation (RAG) как альтернативы классическому дообучению. Рассмотрены аспекты интеграции дополнительных данных в модели, основные элементы трансформера и векторные вкрапления для текстовых данных. Проведено исследование влияния предобработки данных на производительность и качество генерации модели. Результаты подтверждают эффективность предложенных методов и их значимость для различных прикладных задач.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: The research explores methods for fine-tuning large language models using Retrieval-Augmented Generation (RAG) as an alternative to traditional fine-tuning. It examines aspects of integrating additional data into models, key elements of transformers, and vector embeddings for textual data. The impact of data preprocessing on model performance and generation quality is investigated. The results confirm the effectiveness of the proposed methods and their relevance for various practical applications.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: дообучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: большие языковые модели
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: промпт
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: интеграция данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: трансформер
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: векторные вкрапления
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: эмбэддинг
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: предобработка данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: лемматизация
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: эффективность
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: качество генерации
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: retrieval argument generation
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: additional training
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: fine-tuning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: large language models
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: prompt
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data integration
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: transformer
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: vector embedding
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data preprocessing
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: lemmatization
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: efficiency
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: generation quality
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: The study of the features of additional training of large language models
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Исследование особенностей дообучения больших языковых моделей
metadata.lang: ru_RU
resources.filename: VKR_Pribytkov_1.docx
resources.url: https://dspace.spbu.ru/bitstream/11701/46654/2/VKR_Pribytkov_1.docx
resources.format: Microsoft Word XML
resources.description: Article
resources.size: 86,79 kB
resources.filename: reviewSV_nauchkuk_pribytkov.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/46654/3/reviewSV_nauchkuk_pribytkov.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 125,46 kB
resources.filename: reviewSV_st090411_Pribytkov_Danil_Aleksandrovic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/46654/4/reviewSV_st090411_Pribytkov_Danil_Aleksandrovic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 3,59 kB