title: Universal initial duplicate search engine for the Duplicate Finder toolkit
metadata.name: dc.contributor.advisor
metadata.value: Бондарев Антон Владимирович
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Bondarev Anton Vladimirovic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Глазырин Антон Георгиевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Glazyrin Anton Georgievic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Луцив Дмитрий Вадимович
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Luciv Dmitrij Vadimovic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2023-07-26T12:44:25Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2023-07-26T12:44:25Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2023
metadata.name: dc.identifier.other
metadata.value: 054643
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/42629
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Документация является неотъемлемой частью любого крупного проекта и тоже требует сопровождения. Одним из наиболее влиятельных факторов усложнения ведения документации является наличие большого количества повторов. Для улучшения документации на основе поиска повторов был разработан инструмент Duplicate Finder. Однако, у него есть ряд проблем с компонентами поиска.
  В данной работе описывается разработка и реализация унифицированной системы поиска точных и неточных повторов, предназначенной заменить эти компоненты. Сначала проводится анализ инструментов из Duplicate Finder, потом разбираются основные этапы конвейера и приводится описание алгоритмов поиска. Затем проводится тестирование реализованного инструмента на наборе документов, представляющих собой документации разных крупных проектов.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Documentation is a vital part of any big project and it's necessary to maintain its quality. One of the factors that can affect this process negatively is the abundance of duplicates. In order to solve this problem, a tool called Duplicate Finder was implemented. Based on duplicate search, this tool can be used to improve the quality of documentation. However, there are some problems regarding some of the components which are responsible for search.
  This thesis is focused on developing and implementing universal search engine for exact and near-duplicates. First, tools used in Duplicate Finder are analyzed, then the main parts of pipeline and search algorithms are described. Finally, the implemented tool is tested on a compilation of documents that consists of documentations from different projects.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: поиск неточных повторов
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: документация
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: программное обеспечение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: суффиксный массив
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: хеширование
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: n-граммы
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: near-duplicate search
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: documentation
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: software
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: suffix array
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: hashing
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: n-gram
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Universal initial duplicate search engine for the Duplicate Finder toolkit
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Универсальный механизм первичного поиска повторов в тексте для пакета Duplicate Finder
metadata.lang: ru_RU
resources.filename: Universalnyj_mehanizm_pervicnogo_poiska_povtorov_v_tekste_dla_paketa_Duplicate_Finder.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42629/2/Universalnyj_mehanizm_pervicnogo_poiska_povtorov_v_tekste_dla_paketa_Duplicate_Finder.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 565,78 kB
resources.filename: reviewSV_glazyrin_testimonal.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42629/3/reviewSV_glazyrin_testimonal.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 27,34 kB
resources.filename: reviewSV_st054643_Glazyrin_Anton_Georgievic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/42629/4/reviewSV_st054643_Glazyrin_Anton_Georgievic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 5,71 kB