title: Bundle Adjustment and facial landmarks applied to 3D head tracking based on deformable 3D model
metadata.name: dc.contributor.advisor
metadata.value: Назаренко Владимир Владимирович
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Nazarenko Vladimir Vladimirovic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Михельсон Маргарита Николаевна
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Mihelson Margarita Nikolaevna
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Авдюшенко Александр Юрьевич
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Avdusenko Aleksandr Urevic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2023-07-26T12:03:06Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2023-07-26T12:03:06Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2023
metadata.name: dc.identifier.other
metadata.value: 076889
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/42168
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: Трехмерным трекингом лица называется отслеживание на видео положения головы в 3D-пространстве и деформаций, отвечающих за выражение лица. В данной работе трекинг рассматривается применительно к киноиндустрии для накладывания визуальных эффектов, что определяет специфику задачи --- акцент делается на точности решения. 
  До начала работы уже был реализован алгоритм трекинга, основанный на отслеживании на видео двумерных точечных особенностей, который с неплохой точностью вычисляет решение на коротких последовательностях кадров, но из-за накапливающейся ошибки плохо справляется с длинными. Целью данной работы является улучшение его качества, для чего рассматриваются два подхода: добавление в трекинг лендмарок --- точек на лице, определяемых нейросетью --- и использование Bundle Adjustment --- метода одновременной оптимизации параметров на всех кадрах.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: 3D head tracking is, in essence, a video tracking of the head position and its deformations, corresponding to facial expressions, in a 3D space. The focus of this paper is using such tracking in the film industry, particularly when applying visual effects.  This determines specifics of the task — accuracy is the most important feature of the solution.
  A tracking algorithm has already been implemented to track two-dimensional features on video.  Its accuracy is decent when frame sequences are short, but it does not deal well with long frame sequences due to error compounding. The purpose of this project is to improve the quality of the algorithm.  Two approaches are considered to achieve this goal: 1) usage of facial landmarks (points determined by a neural network) and 2) Bundle Adjustment, a simultaneous optimization of all frames.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: трехмерный трекинг лица
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: трехмерная деформируемая модель
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: лицевые лендмарки
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Model Based Bundle Adjustment
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: ключевые точки
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: 3D head tracking
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: deformable 3D model
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: facial landmarks
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Model Based Bundle Adjustment
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: keypoint
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Bundle Adjustment and facial landmarks applied to 3D head tracking based on deformable 3D model
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Применение Bundle Adjustment и лендмарок в 3D-трекинге головы на основе деформируемой 3D-модели
metadata.lang: ru_RU
resources.filename: thesis.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42168/2/thesis.pdf
resources.format: Adobe PDF
resources.description: Article
resources.size: 13,14 MB
resources.filename: reviewSV_review_margarita_mikhelson_signed.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/42168/3/reviewSV_review_margarita_mikhelson_signed.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 71,02 kB
resources.filename: reviewSV_st076889_Mihelson_Margarita_Nikolaevna_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/42168/4/reviewSV_st076889_Mihelson_Margarita_Nikolaevna_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 3,46 kB