title: Recognition of embedded subtitles  in a video stream
metadata.name: dc.contributor.advisor
metadata.value: Космачев Валентин Михайлович
metadata.lang: ru_RU
metadata.name: dc.contributor.advisor
metadata.value: Kosmacev Valentin Mihajlovic
metadata.lang: en_GB
metadata.name: dc.contributor.author
metadata.value: Чэнь Юйцзин
metadata.lang: ru_RU
metadata.name: dc.contributor.author
metadata.value: Cen Ujczin
metadata.lang: en_GB
metadata.name: dc.contributor.editor
metadata.value: Гришкин Валерий Михайлович
metadata.lang: ru_RU
metadata.name: dc.contributor.editor
metadata.value: Griskin Valerij Mihajlovic
metadata.lang: en_GB
metadata.name: dc.date.accessioned
metadata.value: 2024-07-25T11:51:19Z
metadata.lang: -
metadata.name: dc.date.available
metadata.value: 2024-07-25T11:51:19Z
metadata.lang: -
metadata.name: dc.date.issued
metadata.value: 2024
metadata.name: dc.identifier.other
metadata.value: 106500
metadata.lang: en_GB
metadata.name: dc.identifier.uri
metadata.value: http://hdl.handle.net/11701/46886
metadata.lang: -
metadata.name: dc.description.abstract
metadata.value: С быстрым развитием цифровых медиа видеоконтент стал одним из основных способов для людей получать информацию, развлечения и образование. Однако языковые барьеры или нарушения слуха делают субтитры все более важными. Субтитры помогают зрителям не только понимать видеоконтент, но и обеспечивают необходимую поддержку тем, кто столкнулся с языковыми или слуховыми нарушениями, а также учащимся. Поэтому разработка методов извлечения субтитров имеет большое значение для улучшения доступности и понимания видео.
    Цель настоящей статьи - исследовать и реализовать метод встраиваемого извлечения субтитров на основе технологии компьютерного зрения и оптического распознавания символов (OCR). Предложен метод многоступенчатой предобработки изображения, объединяющий обнаружение границ, анализ статических областей и анализ связанных компонент. На этапе предварительной обработки применяется метод адаптивного порогового значения для обнаружения границ с целью выявления потенциальных областей субтитров на видеокадрах. Затем с использованием техник анализа статических областей уменьшается шум и повышается точность локализации субтитров путем выявления общих областей на нескольких кадрах.
    На этапе обнаружения субтитров и распознавания текста в статье используется анализ связанных компонент для нахождения и маркировки связанных компонент на изображениях для точного определения областей субтитров. Затем технология OCR применяется для распознавания и преобразования извлеченных субтитров в редактируемые текстовые файлы. Для обеспечения синхронизации субтитров и видеоконтента вводится метод создания временных меток, вычисляя время появления и исчезновения каждого субтитра на основе номера кадра и частоты кадров видео.
    Структура настоящей статьи следующая: сначала представлена история исследований и связанная работа в области встраиваемого извлечения субтитров; затем подробно описан предложенный метод извлечения субтитров и его детали реализации; далее представлены экспериментальная установка и анализ результатов для оценки эффективности предложенного метода на различных наборах видеоданных; наконец, сделаны выводы и обсуждаются направления дальнейших исследований и перспективы применения.
    Через это исследование мы надеемся предложить новые идеи и методы, чтобы внести больший вклад в развитие технологии извлечения субтитров, обеспечивая доступность и понимание видеоконтента.
metadata.lang: ru_RU
metadata.name: dc.description.abstract
metadata.value: With the rapid development of digital media, video content has become one of the primary means for people to access information, entertainment, and education. However, language barriers or hearing impairments have made subtitles increasingly important. Subtitles not only help viewers understand video content but also provide necessary support for those with language and hearing impairments as well as learners. Therefore, developing subtitle extraction methods is of significant importance for enhancing the accessibility and comprehensibility of videos.
    This paper aims to research and implement an embedded subtitle extraction method based on computer vision and Optical Character Recognition (OCR) technology. A multi-step image preprocessing method combining edge detection, static region analysis, and connected component analysis is proposed. In the preprocessing stage, an adaptive thresholding method is employed for edge detection to identify potential subtitle regions in video frames. Subsequently, static region analysis techniques are used to reduce noise and improve subtitle localization accuracy by identifying common areas across multiple frames.
    In the subtitle detection and text recognition stage, the paper utilizes connected component analysis (CCA) to locate and label connected components in images for accurate subtitle region identification. Then, OCR technology is employed to recognize and convert extracted subtitles into editable text files. To ensure synchronization between subtitles and video content, a timestamp creation method is introduced, calculating the appearance and disappearance times of each subtitle based on frame number and video frame rate.
    The structure of this paper is as follows: first, the research history and related work in the field of embedded subtitle extraction are introduced; then, the proposed subtitle extraction method and its implementation details are described in detail; next, the experimental setup and result analysis are presented to evaluate the effectiveness of the proposed method on various video datasets; finally, the research findings are summarized, and future research directions and application prospects are discussed.
    Through this research, we hope to propose new ideas and methods to make a greater contribution to the development of subtitle extraction technology, ensuring the accessibility and comprehensibility of video content.
metadata.lang: en_GB
metadata.name: dc.language.iso
metadata.value: ru
metadata.name: dc.subject
metadata.value: Встраиваемые субтитры
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Оптическое распознавание символов (OCR)
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Обработка изображений
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Обнаружение субтитров
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Распознавание текста
metadata.lang: ru_RU
metadata.name: dc.subject
metadata.value: Embedded subtitles
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Optical Character Recognition (OCR)
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Image processing
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Subtitle detection
metadata.lang: en_GB
metadata.name: dc.subject
metadata.value: Text recognition
metadata.lang: en_GB
metadata.name: dc.title
metadata.value: Recognition of embedded subtitles  in a video stream
metadata.lang: en_GB
metadata.name: dc.title.alternative
metadata.value: Распознавание встроенных субтитров в видеопотоке
metadata.lang: ru_RU
resources.filename: Raspoznavanie_vstroennyh_subtitrov_v_videopotoke_.docx
resources.url: https://dspace.spbu.ru/bitstream/11701/46886/2/Raspoznavanie_vstroennyh_subtitrov_v_videopotoke_.docx
resources.format: Microsoft Word XML
resources.description: Article
resources.size: 597,59 kB
resources.filename: reviewSV_Otzyv_Cen.pdf
resources.url: https://dspace.spbu.ru/bitstream/11701/46886/3/reviewSV_Otzyv_Cen.pdf
resources.format: Adobe PDF
resources.description: ReviewSV
resources.size: 64,25 kB
resources.filename: reviewSV_st106500_Cen_Ujczin_(supervisor)(Ru).txt
resources.url: https://dspace.spbu.ru/bitstream/11701/46886/4/reviewSV_st106500_Cen_Ujczin_%28supervisor%29%28Ru%29.txt
resources.format: Text
resources.description: ReviewSV
resources.size: 6,34 kB