Projects

Current projects

SURE

SURE logo
The project “Exploring Subtitle Reading Process with Eye Tracking Technology (SURE)” is funded by the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie Grant Agreement No. 702606. It is carried out by Dr Agnieszka Szarkowska at the Centre for Translation Studies, University College London, under the supervision of Prof. Jorge Díaz Cintas.

The goal of the project is to experimentally study the subtitle reading process to establish quality indicators on optimum subtitle presentation times (reading speed) and line breaks (segmentation). Comfortable presentation times and line breaks allow viewers to follow the text in the subtitle and to have enough time to look at the on-screen action. If the subtitle presentation rate is too fast and the segmentation is poor, viewers may find it difficult to follow and understand the subtitles.

Subtitle presentation time (also known as reading speed) is usually expressed using either characters per second (cps) or words per minute (wpm). The most famous rule on the subtitle presentation times is known as ‘the 6-seconds rule’ (Díaz-Cintas & Remael, 2007). According to this rule, a full two-line subtitle of should be displayed for the maximum of six seconds – not less, because viewers will not have time to read the subtitle, but not more, as they will re-read it if it is displayed longer. The 6-seconds rule translates into 12 cps and 144 wpm (Martí Ferriol 2013, p. 203; Romero Fresco 2009, p. 114). However, some broadcasters now use higher reading speeds on the grounds that viewers are now able to read faster (Díaz-Cintas & Remael, 2007).

Subtitle segmentation (also referred to as line breaks) is about how words are placed in the first and second line in two-line subtitles. Segmentation can be based on semantic and syntactic considerations, where linguistic units are put together, or on more visual considerations regarding the shape of the subtitle (a pyramid/trapeze or a rectangle).

The changing audiovisual landscape calls for more up-to-date research on how fast people can read subtitles and to revisit the quality standards accordingly.

Respeaking – the process, competences and quality

The main objectives of the project are (1) to understand the respeaking process, (2) to examine the competences of respeakers, and (3) to analyse the quality of respoken subtitles.

Respeaking is a technique of producing live subtitling using speech recognition (speech-to-text) software. As defined in the seminal work by Romero-Fresco (2011: 1), it is “a technique in which a respeaker listens to the original sound of a live programme or event and respeaks it, including punctuation marks and some specific features for the deaf and hard of hearing audience, to a speech recognition software, which turns the recognised utterances into subtitles displayed on the screen with the shortest possible delay”.

Fig. 1. The process of live subtitling through respeaking

Respeaking has been used since 2001 (Lambourne 2006, Romero Fresco 2011) and it is mainly employed as an intralingual tool, but it can also be used to translate between different languages (den Boer 2001). The target group of respoken subtitles are mainly deaf and hard of hearing viewers (see Eugeni 2007, Eugeni 2008b), as well as language learners and foreigners (Díaz Cintas & Remael 2007, Vanderplank 2013).

Respeakers need to master both linguistic and technical competences (see Arumí Ribas & Romero Fresco 2008, Eugeni 2008a, Romero Fresco 2011). The former include the ability to listen and speak at the same time in the same language or to translate the words spoken in a live programme into another language. Other necessary linguistic skills are the ability to paraphrase and condense the text as well as the ability to simultaneously listen to other speakers and to one’s own voice in order to control the intonation and correctness of the respoken text. Among technical competences are the knowledge of speech recognition software and subtitling skills.

In the course of respeaking, a number of complex cognitive processes take place, such as information storage while processing, requiring the use of multiple cognitive resources, which so far have not been subject to empirical studies. Therefore, the main goal of the project is to experimentally study these processes and obtain insight into the cognitive intricacies of the respeaking process. In the project, three groups of participants (trainee interpreters, trainee translators and control group) will be subjected to a number of psychophysiological tests, the first of which will be a working memory capacity test. Next, the participants will undertake paraphrasing tests, which will test their ability to paraphrase and condense a text – the skills essential in respeaking. The main part of the experiment will consist of the respeaking tests with the three groups of participants who will have received some basic training in live subtitling through respeaking. During the respeaking tests, their brain activity will be monitored by EEG, their eye movements will be recorded by an eyetracker, while their computer activity will be examined through screen recording software. These tools (EEG, eyetracking, screen recording) will serve to understand the respeaking process by analysing cognitive resources used by participants while respeaking. They will also help identify the most problematic areas during the respeaking process. The respoken subtitles created by the study participants will then undergo a qualitative and quantitative analysis. The aspects analysed will include the error rate, the type of errors (speech recognition errors vs. respeaker’s errors), the correctness of transferring the original spoken text into subtitles. The analysis and the screen recordings will serve as a basis for retrospective interviews with the participants. The final stage will be the triangulation of quantitative data from eyetracking and EEG with qualitative data in the form of retrospective interviews.

Modern Art for All (Open Art)

finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu Innowacje Społeczne, 2014-2016

Projekt „Sztuka współczesna dla wszystkich” ma na celu stworzenie innowacyjnego w skali światowej rozwiązania polegającego na opracowaniu multimedialnego przewodnika w formie aplikacji na urządzenia przenośne (smartfon i tablet) ułatwiającego dostęp do dzieł sztuki eksponowanych osobom z dysfunkcjami słuchu i wzroku oraz polepszającego doświadczenie odbioru sztuki dla osób pełnosprawnym z Polski i zza granicy.

W ramach projektu zostanie wykonany prototyp multimedialnego przewodnika po dziełach sztuki współczesnej znajdujących się w zbiorach Muzeum Narodowego w Warszawie, Muzeum Narodowego w Krakowie oraz w Muzeum Sztuki Współczesnej w Krakowie (MOCAK). Przewodnik ten zostanie wykonany zgodnie z zasadami projektowania uniwersalnego (Universal Design), dzięki czemu będzie on dostępny dla wszystkich zwiedzających bez względu na niepełnosprawność czy (nie)znajomość języka. Przewodnik będzie dostępny w formie aplikacji na tablety i smartfony, a jego treść będzie dostępna w formie dźwiękowej, w postaci napisów w języku polskim i angielskim, w polskim języku migowym (PJM) oraz w postaci multimediów.

Rozwiązanie zapewni automatyczną identyfikację eksponatów muzealnych oraz lokalizację zwiedzającego w muzeum. Opracowane rozwiązanie będzie mogło zostać wdrożone w innych muzeach i galeriach jako nowy produkt/usługa mająca na celu eliminację wykluczenia społecznego.

Subtitling for the deaf and hard of hearing on digital television

funded by the Polish Ministry of Science and Higher Education, grant no. IP2011 053471, 2011-2014

Projekt ma na celu zbadanie procesu czytania napisów dosłownych i uproszczonych wśród osób z dysfunkcją słuchu nabytą w wieku pre-, pery- oraz postlingwalnym oraz osób słyszących (grupa kontrolna) na różnych, polsko- i obcojęzycznych, materiałach audiowizualnych (filmy fabularne, dokumentalne, wiadomości).

Przeprowadzone przez nas badania (Szarkowska i in. 2011) pokazują, że jednym z najbardziej kontrowersyjnych problemów jest skracanie i upraszczanie napisów. Nadawcy często tłumaczą swoją politykę upraszczania napisów słabą umiejętnością czytania wśród grupy docelowej, tj. osób głuchych. Dotyczy to głównie osób głuchych od urodzenia i tych, które straciły słuch w wieku pre- i perylingwalnym, przeważnie posługujących się na co dzień językiem migowym. Tymczasem odbiorcy napisów to także osoby, u których dysfunkcja słuchu pojawiła się w wieku postlingwalnym, czyli po przyswojeniu języka polskiego. Ich liczba rośnie w bardzo szybkim tempie, a ich umiejętności czytania nie odbiegają od umiejętności pozostałej części populacji. Ostatnią, potencjalnie ogromną grupą docelową napisów w TV cyfrowej są wszyscy widzowie, którzy nie chcą oglądać filmów i programów w wersji lektorskiej, ale wolą przełączyć dźwięk na oryginalny i uruchomić napisy (rozwiązanie to jest możliwe jedynie w TV cyfrowej). Większość niesłyszących odbiorców docelowych wyraża opinię, że napisy nie powinny być skracane i upraszczane (zob. Szarkowska 2010). Pojawia się więc pytanie, jak pogodzić interesy nadawców i preferencje odbiorców oraz które z obu stanowisk ma uzasadnienie poparte dowodami naukowymi.

Hybrid Broadcast Broadband Television for All

Projekt HBBTV4ALL (Hybrid Broadcast Broadband for All) jest finansowany ze środków Unii Europejskiej w ramach programu ICT Policy Support Programme (CIP-ICT-PSP-2013-5.1). Celem projektu jest promowanie dostępności mediów dla wszystkich odbiorców, a szczególnie osób z niepełnosprawnościami sensorycznymi i osób starszych. Więcej informacji nt. projektu można znaleźć na stronie: http://www.hbb4all.eu/

W ramach projektu przeprowadzono ankietę dotyczącą preferencji widzów na temat napisów filmowych. Raport z ankiety można znaleźć tu:

Empirical evaluation of audiovisual translation: A new integrated approach

funded and coordinated by University of Trieste Research Fund, 2014-2016

Completed projects

Audio description for foreign films

research grant funded by the Polish Ministry of Science and Higher Education, grant no. IP2010 040370, 2010-2012

More information can be found here: avt.ils.uw.edu.pl/en/ad-foreign/

ClipFlair: foreign language learning through interactive captioning and revoicing of clips

funded by EU, project number 519085-LLP-1-2011-1-ES-KA2-KA2MP, agreement 2011-4036/001-001, 2011-2014

More information can be found here: http://clipflair.net/

Digital Television for All

funded from CIP ICT Policy Support Programme, 2009-2010

More information can be found here: psp-dtv4all.org and: DTV4ALL

Text-to-speech audio description (TTS AD)

research grant funded by the Polish Ministry of Science and Higher Education, grant no. N N104 148038, 2010-2011

More information can be found here: avt.ils.uw.edu.pl/en/ad-tts/

Comments are closed.