title: Implementing UCC discovery algorithm within the Desbordante platform
metadata.name: dc.contributor.advisor
metadata.value: Ключиков Евгений Сергеевич
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Klucikov Evgenij Sergeevic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Полынцов Михаил Александрович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Polyncov Mihail Aleksandrovic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Михайлова Елена Георгиевна
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Mihajlova Elena Georgievna
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2023-07-26T12:45:01Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2023-07-26T12:45:01Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2023
metadata.name: dc.identifier.other
metadata.value: 077236
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/42842
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Профилирование данных можно определить как процесс анализа данных, направленный на извлечение метаданных. Уникальные комбинации колонок (UCC) являются важными метаданными, поскольку используются для решениях многих практических задач.
  Desbordante~--- высокопроизводительный профилировщик данных с открытым исходным кодом, в данный момент не поддерживающий алгоритмы поиска UCC. В настоящей работе выполняется обзор известных алгоритмов поиска UCC. Описывается принцип работы одного из самых эффективных алгоритмов HyUCC. Описывается Desbordante и представляются детали реализации HyUCC в нем. Также описываются способы оптимизаций алгоритма с помощью введения многопоточности. Проводится экспериментальное исследование, по результатам которого делается вывод, что оптимизированная версия реализованного автором алгоритма HyUCC в Desbordante на порядок эффективнее реализации в другом профилировщике Metanome как по времени выполнения, так и по потребляемой памяти.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Data profiling can be defined as the process of data analysis aimed at extracting metadata. Unique column combinations (UCC) are crucial metadata, as they are used to solve many practical problems. Desbordante is a high-performance open-source data profiler that currently does not support UCC discovery algorithms. A review of known UCC discovery algorithms is presented in this work. The principle of operation of one of the most effective algorithms, HyUCC, is described. The Desbordante platform is outlined and the details of implementing HyUCC in it are presented. Additionally, various methods for optimizing the algorithm using multithreading are described. An experimental study is conducted, from the results of which it is concluded that the optimized version of the HyUCC algorithm implemented by the author in Desbordante is more than ten times more efficient than the implementation in another profiler, Metanome, in terms of both run time and memory usage.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: профилирование данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: уникальные комбинации колонок
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: C++
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: многопоточность
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: поиск зависимостей
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: data profiling
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: unique column combinations
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: C++
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: multithreading
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: dependency discovery
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Implementing UCC discovery algorithm within the Desbordante platform
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Реализация алгоритма поиска UCC в рамках платформы Desbordante
metadata.lang: ru_RU
resources.filename: PolyntsovThesis.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42842/2/PolyntsovThesis.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 624,44 kB
resources.filename: reviewSV_st077236_Polyncov_Mihail_Aleksandrovic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/42842/3/reviewSV_st077236_Polyncov_Mihail_Aleksandrovic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 3,46 kB