title: Tiered file system: Optimization of architecture and management algorithms
metadata.name: dc.contributor.advisor
metadata.value: Пахомов Андрей Владимирович
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Морозов Сергей Валерьевич
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Morozov Sergey
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Нестеров Вячеслав Михайлович
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Nesterov Viacheslav Mikhаilovich
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2018-07-25T20:34:33Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2018-07-25T20:34:33Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2017
metadata.lang: -
metadata.name: dc.identifier.other
metadata.value: 015613
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/11559
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: С точки зрения бизнеса, автоматизированное многоярусное хранение данных позволяет уменьшить расходы на хранение данных, сохраняя при этом производительность системы хранения данных на приемлемом уровне. Целью данной магистерской диссертации является проектирование и реализация многоярусной файловой системы, конфигурируемой с помощью политик, имеющей два яруса, одним из которых является POSIX-совместимая файловая система (локальная дисковая или распределенная), а другим - облачное объектное хранилище. В ходе работы, была разработана многоярусная файловая система, именуемая CloudTieringFS. Основной сценарий ее использования это массовое хранение файлов. CloudTieringFS использует POSIX-совместимую файловую систему как постоянное хранилище для метаданных и как «вместительный кэш» для данных. В качестве постоянного хранилища для данных используется облачное объектное хранилище. CloudTieringFS позволяет задавать правила для миграции данных с помощью политик, отказоустойчива и сочетается почти со всеми POSIX-совместимыми файловыми системами. Эти характеристики в совокупности являются основным достоинством предлагаемой файловой системы.    Диссертация состоит из четырех глав. В первой главе приведены концепции, необходимые для понимания предметной области, а также выполнен обзор похожих решений и выявлены проблемы, возникающие при разработке многоярусных файловых систем, в которых ярусами являются файловая система и облачное объектное хранилище. Во второй главе сделан обзор некоторых распределенных файловых систем. Выявлен ряд свойств распределенных POSIX-совместимых файловых систем, влияющих на проектирование и реализацию многоярусной файловой системы. В третьей главе установлены требования и приведен подробный проект многоярусной файловой системы. В последней, четвертой, главе выполнена оценка производительности файловой системы CloudTieringFS в одноузловой и многоузловой конфигурациях. В одноузловой конфигурации файловая система BtrFS играла роль быстрого яруса, а в многоузловой конфигурации роль быстрого яруса играла распределенная параллельная файловая система OrangeFS.    Проведенное исследование предлагает результаты, которые выглядят многообещающе. Среднее время доступа к файлу, для выбранного шаблона доступа к файловой системе, незначительно отличается от среднего времени доступа к файлу на файловой системе, использованной в качестве быстрого яруса. Подводя итоги, можно утверждать, что правильно подобранные политики миграции данных позволяют сохранить производительность многоярусной файловой системы на уровне с файловой системой, используемой в качестве быстрого яруса.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: Automated storage tiering, from the business point of view, allows for a considerable cut of data storage costs while preserving the storage system performance at an acceptable level. The aim of this master’s thesis is to design and implement a tiered policy-based file system having, as tiers, a local disk or distributed POSIX-conformant file system and cloud object storage. As a result of this study, the tiered file system called CloudTieringFS, has been devised. The primary use case of CloudTieringFS is mass file storage. CloudTieringFS uses a POSIX-conformant file system as a permanent storage for metadata and as “capacious cache” for data and cloud object storage as a permanent storage for data. The key advantage of CloudTieringFS is simultaneous provision of features such as configurability of data migration via policies, underlying file system-agnosticism, and fault tolerance.    The study is divided into four chapters. In the first chapter, the background required to familiarize the reader with the automated storage tiering in an environment that includes a file system and cloud object storage is given. A survey of similar solutions is provided and common problems to be overcome by the tiered file system developer are identified. The second chapter surveys the selected distributed file systems and compares some of their features important for design and implementation. The third chapter summarizes requirements for the tiered file system and proposes a detailed design for such a system. In the last chapter, the performance of CloudTieringFS is evaluated in single- and multi-node configurations with BtrFS and  OrangeFS file systems correspondingly.     The performance results of CloudTieringFS are promising. The average file access latency for the selected file access pattern differs insignificantly versus the file access latency of the underlying file system. Summarizing, it can be argued that properly adjusted automated storage tiering policies can preserve the underlying file system’s performance with neglectable overheads while reducing data storage costs.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.lang: -
metadata.name: dc.subject
metadata.value: многоярусная файловая система
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: иерархическое управление носителями
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: файловая система
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: облачное объектное хранилище
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: облачное хранилище
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: оптимизация
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: automated storage tiering
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: hierarchical storage management
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: HSM
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: tiering
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: file system
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: tiered file system
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: policy-based file system
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: cloud object storage
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: cloud storage
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: optimization
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data management
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: data migration
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: migration
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Tiered file system: Optimization of architecture and management algorithms
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Многоярусная файловая система: оптимизация архитектуры и алгоритмов управления
metadata.lang: ru_RU
resources.filename: Sergey_Morozov_Masters_Thesis.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/11559/1/Sergey_Morozov_Masters_Thesis.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 287,62 kB
resources.filename: reviewSV_Morozov_otzyv.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/11559/2/reviewSV_Morozov_otzyv.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 130,27 kB
resources.filename: reviewSV_Morozov.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/11559/3/reviewSV_Morozov.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 130,27 kB
resources.filename: reviewSV_Morozov_S_V__rec.jpg
resources.url: https://dspace.spbu.ru/bitstream/11701/11559/4/reviewSV_Morozov_S_V__rec.jpg
resources.format: JPEG
resources.description: ReviewRev
resources.size: 4,4 MB
resources.filename: reviewSV_Morozov_S_V__rec_jpg_2.jpg
resources.url: https://dspace.spbu.ru/bitstream/11701/11559/5/reviewSV_Morozov_S_V__rec_jpg_2.jpg
resources.format: JPEG
resources.description: ReviewRev
resources.size: 3,97 MB
resources.filename: reviewSV_st007050_Nesterov_Vyacheslav_Mixajlovich_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/11559/7/reviewSV_st007050_Nesterov_Vyacheslav_Mixajlovich_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 7,1 kB