title: Semantic type detection in columnar data using machine learning
metadata.name: dc.contributor.advisor
metadata.value: Смирнова Анна Николаевна
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Smirnova Anna Nikolaevna
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Щукин Илья Вячеславович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Sukin Ila Vaceslavovic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Михайлова Елена Георгиевна
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Mihajlova Elena Georgievna
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2023-07-26T12:44:44Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2023-07-26T12:44:44Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2023
metadata.name: dc.identifier.other
metadata.value: 068314
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/42733
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Определение семантических типов колонок в таблицах является важной задачей в области профилирования данных. На данный момент существующие решения не подходят для работы с данными, содержащими русския язык, а также отсутствует набор данных, который бы позволил обучить модель машинного обучения для решения этой задачи. В данной работе описаны: процесс подготовки данных, разработка модели машинного обучения, способной определять семантические типы колонок в русскоязычных табличных данных, а также процесс обучения и предложенные модификации.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Semantic type detection for columnar data is an important task in the field of data profiling. Existing solutions are not suitable for data containing Russian language, and there is also a lack of datasets that allow training a machine learning model for this task. This work describes the process of data preparation, implementation of a machine learning model capable of determining semantic types of columns in tabular data, the training process, and proposed modifications.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: машинное обучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: профилирование данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: глубокое обучение
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: обработка естественного языка
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: обогащение данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: machine learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data profiling
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: deep learning
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: natural language processing
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data enrichment
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Semantic type detection in columnar data using machine learning
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Определение семантического типа колонки в табличных данных с помощью методов машинного обучения
metadata.lang: ru_RU
resources.filename: Shchukin_thesis.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42733/2/Shchukin_thesis.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 902,5 kB
resources.filename: reviewSV_st068314_Sukin_Ila_Vaceslavovic_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/42733/3/reviewSV_st068314_Sukin_Ila_Vaceslavovic_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 3,82 kB