title: Stream data aggregator
metadata.name: dc.contributor.advisor
metadata.value: Кудряшова Елена Владимировна
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Kudrasova Elena Vladimirovna
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Шакиров Артур Каримович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Sakirov Artur Karimovic
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Мокаев Тимур Назирович
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Mokaev Timur Nazirovic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2021-08-07T09:11:41Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2021-08-07T09:11:41Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2021
metadata.name: dc.identifier.other
metadata.value: 063211
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/32452
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Работа посвящена проектированию и реализации алгоритма, нацеленного на расчет статистики близкой к реальному времени. Разобраны методы работы с Kafka и Spark Structured Streaming. Написана программа, обеспечивающая с помощью Spark Structured Streaming расчеты заданных метрик в потоковом режиме. Организована передача данных от региональных серверов к основному с поэтапной обработкой.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: The work is devoted to the design and implementation of an algorithm aimed at calculating statistics close to real time. Methods for working with Kafka and Spark Structured Streaming are discussed. A program that provides calculations of specified metrics in streaming mode using Spark Structured Streaming was written. Data transfer from regional servers to the main one with stage-by-stage processing was organized.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: Большие данные
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: поточная обработка данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: поточный агрегатор данных
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Kafka
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Spark Structured Streaming
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Big Data
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Data Stream Processing
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Stream Data Aggregator
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Kafka
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Spark Structured Streaming
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Stream data aggregator
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Поточный агрегатор данных
metadata.lang: ru_RU
resources.filename: KSS.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/32452/1/KSS.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 829,08 kB