title: Development of semantic query language for big data analysis
metadata.name: dc.contributor.advisor
metadata.value: Едаменко Николай Семенович
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Edamenko Nikolaj Semenovic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Авдеев Иван Владимирович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Avdeev Ivan Vladimirovic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Андрианов Сергей Николаевич
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Andrianov Sergej Nikolaevic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2021-03-24T15:50:55Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2021-03-24T15:50:55Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2020
metadata.name: dc.identifier.other
metadata.value: 054647
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/26474
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Разработчики и аналитики компании Яндекс каждый день анализируют документы страниц выдачи поисковых ответов. Они ищут в этих документах какие-то определенные данные, анализируют их (например, количество поисковых запросов, в которых был какой-то определенный тип объекта ответа). Один документ соответствует одному поисковому ответу. Все данные хранятся в MapReduce системе YT и их можно получить с помощью языка запросов YQL. Но функциональности YQL не всегда хватает для поиска данных. Появилась проблема: нет единого интерфейса для отображения документов и поиска в них, а также нет инструмента в системе YT для поиска данных о выдаче поисковых ответов.
  В данной работе подробно описана разработка решения этой проблемы: выбран язык запросов XPath для поиска данных в документах, разработано приложение для поиска данных в небольшом количестве документов и разработан инструментарий для поиска и анализа данных в системе YT.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Yandex developers analyze documents from search response pages every day. They search for certain data in these documents and analyze it (for example, the number of search queries that had a certain type of response object). One document corresponds to one search response. All data is stored in the MapReduce system YT and can be retrieved using the YQL - Yandex Query Language. However, YQL functionality is not always sufficient for searching data. There is a problem: there is no unified interface for displaying documents and searching in them, and there is no tool in the YT system for searching data about search results.
  This paper describes in detail the development of a solution to this problem. The XPath query language for searching data in documents has been selected, an application for searching data in a small number of documents  and a tool for searching and analyzing data in the YT system have been developed.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: Разработка
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: языки запросов
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: анализ
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: большие данные
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Development
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: query languages
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: analysis
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: big data
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Development of semantic query language for big data analysis
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Разработка семантического языка запросов для анализа больших данных
metadata.lang: ru_RU
resources.filename: vkr.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/26474/1/vkr.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 1,59 MB
resources.filename: reviewSV_Otzyv_rukovoditela_na_VKR_Avdeeva_Ivana.docx
resources.url: https://dspace.spbu.ru/bitstream/11701/26474/2/reviewSV_Otzyv_rukovoditela_na_VKR_Avdeeva_Ivana.docx
resources.format: Microsoft Word XML
resources.description: ReviewSV
resources.size: 28,65 kB