title: Learnable decentralized MAPF using reinforcement learning with local communication
metadata.name: dc.contributor.advisor
metadata.value: Савельев Антон Игоревич
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Savelev Anton Igorevic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Савинов Владислав Алексеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Savinov Vladislav Alekseevic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Яковлев Константин Сергеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Akovlev Konstantin Sergeevic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2023-07-26T12:03:09Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2023-07-26T12:03:09Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2023
metadata.name: dc.identifier.other
metadata.value: 077101
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/42181
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Задача мультиагентной навигации (multi-agent pathfinding, MAPF) заключается в координации нескольких агентов в общей среде для достижения целей. Она имеет широкое применение в разных областях науки и техники, включая автоматизацию складских помещений. Обычно предполагается наличие центрального планировщика, обладающего информацией о нахождении агентов. Однако данная работа рассматривает сценарий частично наблюдаемого MAPF (partially observable MAPF, PO-MAPF), в котором агенты имеют ограниченное представление о среде и принимают решения на основе локальной информации. Такой сценарий может быть решен децентрализовано. В последние годы, благодаря доступности данных и вычислительных ресурсов, к PO-MAPF стали примененять обучаемые алгоритмы. Цель данной работы состоит в исследовании обобщаемости обучаемых методов для децентрализованного PO-MAPF. Для этого рассматривается один из наиболее эффективных алгоритмов - Distributed Heuristic Communication (DHC). Результаты обширного экспериментального анализа показывают, что качество работы DHC снижается в среде с полной потерей пакетов сообщений между агентами. Для улучшения работы в таких сценариях в работе представлен новый метод, DHC-R. Реализация, псевдокод и веса моделей доступны в открытом доступе.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Multi-agent pathfinding (MAPF) is a complex problem involving the coordination of movements among multiple agents to achieve a common objective in a shared environment. This problem has numerous industrial and research applications. However, in many practical cases, agents are unable to observe the entire environment in which they operate and must rely on local observations to make decisions. This scenario is known as partially observable MAPF (PO-MAPF). Recently, there has been a growing interest in utilizing learnable algorithms to tackle the MAPF problem and solve the PO-MAPF problem in a decentralized manner; yet the performance of these algorithms is oftentimes not validated out-of-distribution (OOD) or in adversarial scenarios, and the code is not properly open-sourced. This thesis focuses on decentralized PO-MAPF and aims to address the generalizability of learnable algorithms by conducting empirical evaluations beyond the training distribution, closing the gap in previous works. To achieve this, we extensively evaluate one of the state-of-the-art algorithms that utilizes communication between agents, Distributed Heuristic Communication (DHC). Through comprehensive experiments, we observe that the performance of DHC degrades when agents experience complete packet loss during communication. To mitigate this, we propose a novel algorithm, DHC-R. We provide detailed implementation specifics, including open-sourced model weights and pseudo-code.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: обучение с подкреплением
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: навигация в клеточных средах
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: децентрализованная навигация
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: частичная наблюдаемость
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: partially-observable decentralized multi-agent pathfinding
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: reinforcement learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: out-of-distribution
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: navigation
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: AI safety
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Learnable decentralized MAPF using reinforcement learning with local communication
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Децентрализованное мультиагентное планирование на основе обучения с подкреплением и локальной коммуникации
metadata.lang: ru_RU
resources.filename: st077101.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42181/2/st077101.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 12,56 MB
resources.filename: reviewSV_Otzyv_naucnogo_rukovoditela.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42181/3/reviewSV_Otzyv_naucnogo_rukovoditela.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 144,53 kB
resources.filename: reviewSV_Otzyv_naucnogo_rukovoditela_Savinov.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42181/4/reviewSV_Otzyv_naucnogo_rukovoditela_Savinov.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 144,53 kB