title: A platform for high-performance discovery of dependencies in databases
metadata.name: dc.contributor.advisor
metadata.value: Григорьева Анастасия Викторовна
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Grigoreva Anastasia Viktorovna
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Струтовский Максим Андреевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Strutovskij Maksim Andreevic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Михайлова Елена Георгиевна
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Mihajlova Elena Georgievna
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2021-08-07T09:11:43Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2021-08-07T09:11:43Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2021
metadata.name: dc.identifier.other
metadata.value: 063347
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/32461
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: На тему автоматического поиска различных видов зависимостей в базах данных ведётся множество исследований. Задача ставится следующим образом: найти все зависимости в необработанном датасете. Подобная задача возникает в бизнес и исследовательских приложениях и нацелена на обнаружение закономерностей в данных.
  
   Metanome является платформой с передовыми возможностями для оценки производительности и разработки новых алгоритмов поиска зависимостей, будучи первым проектом, объединившим в себе большинство существующих алгоритмов. Однако, Metanome является скорее исследовательским прототипом, не подходящим для коммерческого использования. Основной причиной выступает выбор языка Java и сопутствующая ограниченность возможностей для оптимизации.
  
   В данной работе акцент сделан на производительность, и представлена платформа Desbordante, предназначенная для высокопроизводительного поиска функциональных зависимостей. Кроме того, в работе поставлено несколько экспериментальных исследовательских вопросов и проведены соответствующие эксперименты. Точнее говоря, было изучено 1) превосходит ли производительность предложенной реализации производительность существующей, 2) возможно ли улучшить производительность существующего решения с помощью простых действий, 3) какие причины лежат в различии уровней производительности и 4) какие преимущества ожидают пользователя при использовании предложенного решения.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Automatic discovery of various types of database dependencies (functional, inclusion, matching, and others) is a topic that has received a great deal of attention in recent years. The problem is formulated as following: having an unexplored dataset, find all dependencies that hold on this data. Such problem formulation arises in business and scientific applications and is aimed at the discovery of patterns in data.
  
  Metanome is a pioneering platform which was used to benchmark existing and develop new dependency discovery algorithms. It is notable since it was the first attempt to unify all existing discovery algorithms inside a single suite. However, it should be considered a research prototype rather than a system ready for industrial use. The core reason for this is the choice of the implementation platform (Java) and the absence of optimizations. In this paper we address the problem of high-performance dependency discovery. We present Desbordante — a platform that is intended to make the most of the available computational resources and thus to be more suitable for industrial use.
  
  Finally, we evaluate our system experimentally and pose a number of research questions related to the obtained performance and justify its necessity. More precisely we examine 1) whether the Java implementation is indeed worse than the C++ one, 2) is it possible to use simple tricks to improve Metanome’s performance, 3) what are the exact reasons behind the performance gap, and 4) what are the user-facing benefits of switching the implementations.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: поиск функциональных зависимостей
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: реляционные базы данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: добыча данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: functional dependency discovery
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: relational databases
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data mining
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: A platform for high-performance discovery of dependencies in databases
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Платформа для высокопроизводительного поиска зависимостей в базах данных
metadata.lang: ru_RU
resources.filename: 2021_Bachelor_Diploma_Maksim_Strutovskii.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/32461/1/2021_Bachelor_Diploma_Maksim_Strutovskii.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 166,57 kB