title: Optimizing the binpack algorithm by predicting the execution time of Python Code
metadata.name: dc.contributor.advisor
metadata.value: Лозов Петр Алексеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Lozov Petr Alekseevic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Понизяйкин Владислав Алексеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Ponizajkin Vladislav Alekseevic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Булычев Дмитрий Юрьевич
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Bulycev Dmitrij Urevic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2024-07-25T11:48:03Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2024-07-25T11:48:03Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2024
metadata.name: dc.identifier.other
metadata.value: 067907
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/45854
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: С каждым годом в современных компаниях набирает популярность возможность запуска разнородных задач в гетерогенных кластерах - тут речь может идти про разные виды задач: последовательные пайплайны небольших задач, интерпретируемые как направленные ацикличные графы, регламентные задачи, для которых во время их запуска нужно предоставить ресурсы в рамках SLA, задачи предобработки датасетов, и так далее. Аналогично развитым сейчас планировщикам задач, каждая задача обязана запускаться по какой-то стратегии, которая оптимизирует нужные метрики.
  
  Задачу шедулинга можно определить как поиск оптимального алгоритма для минимизации нужных значений: для бизнеса эта метрика - заполненость кластера, для владельца эксперимента - время ожидания до запуска.
  
  В этой работе мы представим алгоритм запуска задач машинного обучения в кластере, основанный на общеизвестном методе Binpack, но помимо прочего оперирущий ожидаемым временем исполнения задачи, а также сравним его с известными алгоритмами.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Every year, the possibility of launching heterogeneous tasks in heterogeneous clusters is gaining popularity in modern companies - here we can talk about different types of tasks: sequential pipelines of small tasks interpreted as directed acyclic graphs, routine tasks for which resources must be provided within the framework of SLA during their launch, tasks for preprocessing datasets, and so on. Similarly to the task planners that are now developed, each task must be launched according to some strategy that optimizes the necessary metrics.
  
  The shadowing task can be defined as the search for the optimal algorithm to minimize the necessary values: for a business, this metric is the occupancy of the cluster, for the owner of the experiment - the waiting time before launch.
  
  In this paper, we will present an algorithm for running machine learning tasks in a cluster based on the well-known Binpack method, but among other things operating on the expected task execution time, and also compare it with well-known algorithms.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: планировщик
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: планирование
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: код
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: время исполнения
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: schedule
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: ml
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: code
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: planning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: bin packing
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Optimizing the binpack algorithm by predicting the execution time of Python Code
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Оптимизация алгоритма binpack за счет предсказания времени исполнения python-кода
metadata.lang: ru_RU
resources.filename: Diplom_2.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/45854/2/Diplom_2.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 1,12 MB
resources.filename: reviewSV_Otzyv_naucnogo_rukovoditela_na_vypusknuu_kvalifikacionnuu_rabotu.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/45854/3/reviewSV_Otzyv_naucnogo_rukovoditela_na_vypusknuu_kvalifikacionnuu_rabotu.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 49,04 kB
resources.filename: reviewSV_st067907_Ponizajkin_Vladislav_Alekseevic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/45854/4/reviewSV_st067907_Ponizajkin_Vladislav_Alekseevic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 3,92 kB