title: Bayesian reinforcement learning for content recommendations
metadata.name: dc.contributor.advisor
metadata.value: Давыденко Александр Александрович
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Davydenko Aleksandr Aleksandrovic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Омаров Руслан Зулфигарович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Omarov Ruslan Zulfigarovic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Блеканов Иван Станиславович
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Blekanov Ivan Stanislavovic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2021-03-24T15:08:45Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2021-03-24T15:08:45Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2019
metadata.name: dc.identifier.other
metadata.value: 049209
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/25983
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: В данной выпускной квалификационной работе проведено исследование применения алгоритмов, основанных на байесовских бандитах, к некоторому классу задач рекомендации контента.  В первой главе проведен обзор существующих решений. Среди них описаны методы коллаборативной фильтрации, латентное моделирование и графовые алгоритмы построения рекомендательных систем. Во второй главе подробно рассмотрены некоторые алгоритмы многоруких бандитов, которые были реализованы и протестированы в рамках данного исследования. К ним относятся e-greedy, UCB1, disjoint-linUCB, hybrid-linUCB. Все вышеупомянутые алгоритмы можно отнести к методам машинного обучения с подкреплением. Такие модели обучаются непосредственно при взаимодействии со средой. Однако в данной работе рассмотрен класс задач рекомендации новостей и групп в различных площадках. В связи с этим оценивание качества алгоритмов в реальной среде невозможно ввиду экономических ограничений и потери прибыли на начальных этапах из-за необученности моделей. В связи с этим в третьей главе рассмотрен метод offline оценки качества алгоритмов многоруких бандитов, который основан на использовании историй показов пользователям новостей и групп. При этом для получения несмещенных оценок необходимо, чтобы все показы поступали из равномерного распределения. В четвертой главе решается тестовая задача, суть которой - рекомендация новостей на главной странице Yahoo. Основной причиной рассмотрения данной задачи являлась проверка правильности и эффективности построения программного комплекса, а также получение оценок скорости сходимости алгоритмов. В пятой главе рассмотрена задача рекомендации групп в социальной сети Одноклассники, которая предоставила необходимые данные и ресурсы. В рамках этой задачи дополнительно был реализован инструментарий для предобработки и уменьшения размерности данных из-за чувствительности бандитских моделей. Также в этой главе приведены результаты полученных экспериментов, которые свидетельствуют, что применение многоруких бандитов в задаче Одноклассников приемлемо, но требует большого внимания к данным и ресурсам. Кроме того, обучение моделей может занять довольно длительное время.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: In this work, a study was conducted of applying algorithms based on Bayesian bandits to a certain class of content recommendation tasks. The first chapter reviews existing solutions, models of which are different from the aforementioned bandits. Among them are described the methods of collaborative filtering, latent modeling and graph algorithms for constructing recommender systems. In the second chapter, some algorithms of multi-armed bandits, which were implemented and tested in the framework of this study, are discussed in detail. These include e-greedy, UCB1, disjoint-linUCB, hybrid-linUCB. All the above algorithms can be attributed to the methods of machine learning with reinforcement. Such models are trained directly in their interaction with the environment. However, this paper considers the class of tasks for recommending news and groups in various sites. In this regard, assessment of the quality of algorithms in a real environment is impossible due to economic constraints and loss of profits in the initial stages due to the lack of knowledge of the models. In this regard, in the third chapter, the method of offline evaluation of the quality of the algorithms of multi-armed bandits is considered, which is based on the use of stories showing users news and groups. In this case, to obtain unbiased estimates, it is necessary that all impressions come from a uniform distribution. In the fourth chapter of the test task, which is the recommendation of the news on the main page of Yahoo. The main reason for the consideration of this problem was to check the correctness and efficiency of building a software package, as well as to obtain estimates of the rate of convergence of the algorithms. The fifth chapter describes the task of recommending groups on the Odnoklassniki social network, which provided the necessary data and resources. As part of this task, an additional toolkit has been implemented for preprocessing and reducing data dimensionality due to the sensitivity of bandit models. Also in this chapter, the results of the experiments that show that the use of multi-armed thugs in the Odnoklassniki problem is acceptable, but requires great attention to data and resources. In addition, learning models can take quite a long time.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: обучение с подкреплением
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: рекомендательные системы
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: многорукие бандиты
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: холодный старт
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: reinforcement learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: recommender systems
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: multi-armed bandits
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: cold-start
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Bayesian reinforcement learning for content recommendations
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Применение методов байесовского обучения с подкреплением для решения некоторого класса задач рекомендации контента
metadata.lang: ru_RU
resources.filename: diplomFinal.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/25983/1/diplomFinal.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 1,03 MB
resources.filename: reviewSV_Otzyv_Omarova_.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/25983/2/reviewSV_Otzyv_Omarova_.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 193,65 kB