title: The investigation of generative models in the problem of finding the optimal answer to specialized questions with application to StackOverflow
metadata.name: dc.contributor.advisor
metadata.value: Ковальчук Сергей Валерьевич
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Kovalcuk Sergej Valerevic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Омельченко Максим Андреевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Omelcenko Maksim Andreevic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Булычев Дмитрий Юрьевич
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Bulycev Dmitrij Urevic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2024-01-23T13:54:22Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2024-01-23T13:54:22Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2023
metadata.name: dc.identifier.other
metadata.value: 075972
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/44675
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: С приходом больших генеративных моделей появилась возможность автоматической генерации программного кода. Это позволяет сэкономить время миллионов разработчиков а также автоматизировать процессы разработки. Цель этой работы --- улучшить качество генерации кода для уже существующих генеративных моделей. Для достижения этой цели, предлагается метод дообучения больших языковых моделей, который заключается в добавлении специальных ключевых слов к входу в качестве подсказки. В работе были проведены эксперименты в области ответов на вопросы на платформе Stack Overflow. Эксперименты показали эффективность предложенного метода, а лучшая дообученная модель набрала 0.44 BLEU на публичном датасете по генерации кода CoNaLa, опережая предыдущий лучший результат на 0.10 BLEU.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: With the advent of Large Language Models (LLM), it became possible to automatically generate program code. This saves time for millions of developers and automates development processes. The purpose of this work is to improve the quality of code generation for already existing generative models. To achieve this goal, a method for fine-tuning LLMs is proposed, which consists in adding special keywords to the input as a prompt. Further, experiments were conducted in the field of answering questions on the Stack Overflow platform. The experiments showed the effectiveness of the proposed method, and the best fine-tuned model scored 0.44 BLEU on the public code generation CoNaLa dataset, ahead of the previous best result by 0.10 BLEU.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: Машинное обучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: CQA платформы
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Глубокое обучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Генерация кода
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Большие языковые модели
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Machine Learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: CQA sites
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Deep Learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Code Generation
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Large Language Models
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: The investigation of generative models in the problem of finding the optimal answer to specialized questions with application to StackOverflow
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Исследование генеративных моделей в задаче поиска оптимального ответа на специализированные вопросы на примере StackOverflow
metadata.lang: ru_RU
resources.filename: diploma.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/44675/2/diploma.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 1,29 MB
resources.filename: reviewSV_review.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/44675/3/reviewSV_review.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 104 kB
resources.filename: reviewSV_st075972_Omelcenko_Maksim_Andreevic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/44675/4/reviewSV_st075972_Omelcenko_Maksim_Andreevic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 2,98 kB