title: Automated ML-driven AB-testing of code-generative models
metadata.name: dc.contributor.advisor
metadata.value: Ломшаков Вадим Михайлович
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Lomsakov Vadim Mihajlovic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Безруков Вячеслав Игоревич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Bezrukov Vaceslav Igorevic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Николенко Сергей Игоревич
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Nikolenko Sergej Igorevic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2024-07-25T11:49:50Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2024-07-25T11:49:50Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2024
metadata.name: dc.identifier.other
metadata.value: 086941
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/46298
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В этой работе описано создание новой архитектуры для оценки качества ответа на вопрос по программированию на Python с точки зрения человека, т.е. учитывая релевантность ответа, понятность и читаемость самого кода и т.д. Модель использует и LLM для извлечения семантических эмбеддингов и последующей генерации из них признаков релевантности, и статические метрики кода для генерации признаков, что обеспечивает высокую скорость работы и интерпретируемость самой модели. Для обучения использовался датасет, собранный из архива Stack Overflow 2022. Весь проект с открытым исходным кодом и доступен на Github, вместе с обученной моделью и удобным пайплайном, позволяющим легко использовать модель. Также проведено множество экспериментов для изучения влияния различных решений по архитектуре самой модели и фильтрации датасета на точность предсказаний. Кроме того, проведено сравнение предлагаемой модели с GPT-4 и выяснено, что в ряде сценариев наша модель показывает сопоставимую точность, требуя значительно меньше ресурсов. И наконец, экспериментально изучена мощность статистических критериев для сравнения качества ответов, использующих предлагаемую модель, и показано, что такой критерий имеет достаточно неплохую чувствительность.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: This paper describes the creation of a new architecture for evaluating the quality of an answer to a Python programming question from a human perspective. The model uses both LLM to extract semantic embeddings and then generate relevance features from them, and static code metrics to generate the features. This ensures high speed performance and interpretability of the model itself. A dataset collected from the Stack Overflow 2022 archive was utilized for training purposes. The entire project is open source and accessible on GitHub, accompanied by the trained model and a user-friendly pipeline that facilitates the utilization of the model. Additionally, numerous experiments have been conducted to investigate the impact of distinct decisions on the architecture of the model itself and the filtering of the dataset on the prediction accuracy. Furthermore, the proposed model was compared with GPT-4, and it was found that our model demonstrated comparable accuracy in a number of scenarios, requiring significantly less resources. Finally, the efficacy of statistical criteria for evaluating the quality of responses using the proposed model was experimentally studied, and it was demonstrated that such a criterion exhibited considerable sensitivity.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: Машинное обучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Глубокое обучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Обработка естственных языков
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Большие языковые модели
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Качество ответа
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Качество кода
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Machine learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Deep learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Natural language processing
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Large language models
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Answer quality
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Code quality
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Automated ML-driven AB-testing of code-generative models
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Автоматическое AB-тестирование кодогенеративных моделей методами машинного обучения
metadata.lang: ru_RU
resources.filename: Diplom_Vaceslav_Bezrukov.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/46298/2/Diplom_Vaceslav_Bezrukov.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 1,07 MB
resources.filename: reviewSV_st086941_Bezrukov_Vaceslav_Igorevic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/46298/3/reviewSV_st086941_Bezrukov_Vaceslav_Igorevic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 3,98 kB