Projekty

Projekty prowadzone obecnie

SURE

SURE logo
The project “Exploring Subtitle Reading Process with Eye Tracking Technology (SURE)” is funded by the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie Grant Agreement No. 702606. It is carried out by Dr Agnieszka Szarkowska at the Centre for Translation Studies, University College London, under the supervision of Prof. Jorge Díaz Cintas.

The goal of the project is to experimentally study the subtitle reading process to establish quality indicators on optimum subtitle presentation times (reading speed) and line breaks (segmentation). Comfortable presentation times and line breaks allow viewers to follow the text in the subtitle and to have enough time to look at the on-screen action. If the subtitle presentation rate is too fast and the segmentation is poor, viewers may find it difficult to follow and understand the subtitles.

Subtitle presentation time (also known as reading speed) is usually expressed using either characters per second (cps) or words per minute (wpm). The most famous rule on the subtitle presentation times is known as ‘the 6-seconds rule’ (Díaz-Cintas & Remael, 2007). According to this rule, a full two-line subtitle of should be displayed for the maximum of six seconds – not less, because viewers will not have time to read the subtitle, but not more, as they will re-read it if it is displayed longer. The 6-seconds rule translates into 12 cps and 144 wpm (Martí Ferriol 2013, p. 203; Romero Fresco 2009, p. 114). However, some broadcasters now use higher reading speeds on the grounds that viewers are now able to read faster (Díaz-Cintas & Remael, 2007).

Subtitle segmentation (also referred to as line breaks) is about how words are placed in the first and second line in two-line subtitles. Segmentation can be based on semantic and syntactic considerations, where linguistic units are put together, or on more visual considerations regarding the shape of the subtitle (a pyramid/trapeze or a rectangle).

The changing audiovisual landscape calls for more up-to-date research on how fast people can read subtitles and to revisit the quality standards accordingly.

„Respeaking – proces, kompetencje i jakość”

finansowany przez Narodowe Centrum Nauki w ramach programu OPUS, 2014-2016

Celem projektu jest (1) dogłębne zrozumienie procesu respeakingu, (2) zbadanie kompetencji respeakera oraz (3) analiza jakości napisów na żywo tworzonych za pomocą respeakingu.

Respeaking to technika opracowywania napisów, polegająca na wykorzystaniu oprogramowania do rozpoznawania mowy (speech-to-text). Respeaker słucha oryginalnych wypowiedzi wypowiadanych na żywo i powtarza (re-speaks) usłyszane słowa, dodając niezbędne znaki interpunkcyjne i elementy na potrzeby osób niesłyszących (kolory, etykietki mówców) oraz dokonując niezbędnych zmian edycyjnych. Następnie słowa respeakera są przetwarzane przez program do rozpoznawania mowy, który z kolei zamienia rozpoznane wypowiedzi na tekst, który jest następnie wyświetlany w formie napisów na ekranie z możliwie jak najkrótszym opóźnieniem (zob. Romero Fresco 2011: 1).

Rys. 1. Schemat procesu tworzenia napisów na żywo przy wykorzystaniu respeakingu

Respeaking jest na świecie najczęściej stosowany jako narzędzie intrajęzykowe, jednak może być też wykorzystany do tłumaczenia między językami (den Boer 2001). Grupą docelową napisów tworzonych za pomocą respeakingu są osoby niesłyszące i słabosłyszące (zob. Eugeni 2007, Eugeni 2008), a także osoby uczące się języka, obcokrajowcy i inni (Díaz Cintas & Remael 2007).

Osoby wykonujące zawód respeakera muszą posiadać kompetencje lingwistyczne (umiejętność jednoczesnego słuchania i mówienia w tym samym języku bądź tłumaczenia wypowiedzi na żywo na język obcy, a także parafrazowania usłyszanych wypowiedzi i dokonywania w nich niezbędnych skrótów oraz umiejętność odsłuchu, tj. jednoczesnego słuchania wypowiedzi mówców i własnego głosu w celu kontrolowania intonacji i wyeliminowania błędów w produkcji) i kompetencje techniczne (znajomość narzędzi do rozpoznawania mowy, umiejętność opracowywania napisów).

Celem projektu jest zrozumienie procesu respeakingu oraz zbadanie, jakie kompetencje najkorzystniej wpływają na dobrą jakość napisów tworzonych za pomocą respeakingu. W tym celu trzy grupy uczestników badania (1. adepci przekładu ustnego, 2. adepci przekładu pisemnego, oraz 3. grupa kontrolna) zostaną poddane badaniom pojemności pamięci roboczej, która według stawianej przez nas hipotezy może mieć znaczący wpływ na proces wykonywania respeakingu. Następnie uczestnicy przejdą testy sprawdzające ich umiejętności parafrazowania, niezbędne podczas opracowywania napisów za pomocą respeakingu. Następnie uczestnicy przejdą testy respeakingu do różnych gatunków audycji telewizyjnych, podczas których będą rejestrowane ruchy ich gałek ocznych (za pomocą okulografu), wszystkie wykonywane przez nich na komputerze czynności (za pomocą oprogramowania typu screen recording) oraz aktywność ich mózgu (za pomocą EEG). Narzędzia te posłużą dogłębnemu zrozumieniu procesu respeakingu poprzez zbadanie wykorzystania zasobów poznawczych podczas wykonywania respeakingu przez osoby o różnych kompetencjach oraz zdefiniowanie obszarów sprawiających respeakerom najwięcej trudności. Napisy stworzone przez uczestników badania podczas testów respeakingu zostaną poddane analizie jakości, w której zostaną uwzględnione m.in. poprawność przełożenia tekstu oryginalnego na napisy, opóźnienie, rodzaje błędów (wynikające z błędnego rozpoznania wypowiedzi przez program oraz z pomyłek respeakerów). W projekcie zostanie również dokonana triangulacja empirycznych danych ilościowych pochodzących z okulografu i EEG z danymi jakościowymi w postaci wywiadu retrospektywnego z osobami badanymi z wykorzystaniem danych z nagrań. Efektem badania będzie zatem wiedza naukowa dotycząca procesu respeakingu i optymalnych kompetencji respeakerów.

Zakładamy, że osoby posiadające kompetencje w zakresie przekładu ustnego będą lepiej predysponowane do zadań związanych w wykonywaniem respeakingu ze względu na szereg podobieństw kompetencyjnych między respeakingiem a przekładem ustnym, a także na sprawniejszą pamięć roboczą.

„Sztuka współczesna dla wszystkich” (Open Art)

finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu Innowacje Społeczne, 2014-2016

Projekt „Sztuka współczesna dla wszystkich” ma na celu stworzenie innowacyjnego w skali światowej rozwiązania polegającego na opracowaniu multimedialnego przewodnika w formie aplikacji na urządzenia przenośne (smartfon i tablet) ułatwiającego dostęp do dzieł sztuki eksponowanych osobom z dysfunkcjami słuchu i wzroku oraz polepszającego doświadczenie odbioru sztuki dla osób pełnosprawnym z Polski i zza granicy.

W ramach projektu zostanie wykonany prototyp multimedialnego przewodnika po dziełach sztuki współczesnej znajdujących się w zbiorach Muzeum Narodowego w Warszawie, Muzeum Narodowego w Krakowie oraz w Muzeum Sztuki Współczesnej w Krakowie (MOCAK). Przewodnik ten zostanie wykonany zgodnie z zasadami projektowania uniwersalnego (Universal Design), dzięki czemu będzie on dostępny dla wszystkich zwiedzających bez względu na niepełnosprawność czy (nie)znajomość języka. Przewodnik będzie dostępny w formie aplikacji na tablety i smartfony, a jego treść będzie dostępna w formie dźwiękowej, w postaci napisów w języku polskim i angielskim, w polskim języku migowym (PJM) oraz w postaci multimediów.

Rozwiązanie zapewni automatyczną identyfikację eksponatów muzealnych oraz lokalizację zwiedzającego w muzeum. Opracowane rozwiązanie będzie mogło zostać wdrożone w innych muzeach i galeriach jako nowy produkt/usługa mająca na celu eliminację wykluczenia społecznego.

„Napisy dla niesłyszących w telewizji cyfrowej”

finansowany ze środków MNISW w ramach programu Iuventus Plus, 2011-2014

Projekt ma na celu zbadanie procesu czytania napisów dosłownych i uproszczonych wśród osób z dysfunkcją słuchu nabytą w wieku pre-, pery- oraz postlingwalnym oraz osób słyszących (grupa kontrolna) na różnych, polsko- i obcojęzycznych, materiałach audiowizualnych (filmy fabularne, dokumentalne, wiadomości).

Przeprowadzone przez nas badania (Szarkowska i in. 2011) pokazują, że jednym z najbardziej kontrowersyjnych problemów jest skracanie i upraszczanie napisów. Nadawcy często tłumaczą swoją politykę upraszczania napisów słabą umiejętnością czytania wśród grupy docelowej, tj. osób głuchych. Dotyczy to głównie osób głuchych od urodzenia i tych, które straciły słuch w wieku pre- i perylingwalnym, przeważnie posługujących się na co dzień językiem migowym. Tymczasem odbiorcy napisów to także osoby, u których dysfunkcja słuchu pojawiła się w wieku postlingwalnym, czyli po przyswojeniu języka polskiego. Ich liczba rośnie w bardzo szybkim tempie, a ich umiejętności czytania nie odbiegają od umiejętności pozostałej części populacji. Ostatnią, potencjalnie ogromną grupą docelową napisów w TV cyfrowej są wszyscy widzowie, którzy nie chcą oglądać filmów i programów w wersji lektorskiej, ale wolą przełączyć dźwięk na oryginalny i uruchomić napisy (rozwiązanie to jest możliwe jedynie w TV cyfrowej). Większość niesłyszących odbiorców docelowych wyraża opinię, że napisy nie powinny być skracane i upraszczane (zob. Szarkowska 2010). Pojawia się więc pytanie, jak pogodzić interesy nadawców i preferencje odbiorców oraz które z obu stanowisk ma uzasadnienie poparte dowodami naukowymi.

“Hybrid Broadcast Broadband Television for All”

Projekt HBBTV4ALL (Hybrid Broadcast Broadband for All) jest finansowany ze środków Unii Europejskiej w ramach programu ICT Policy Support Programme (CIP-ICT-PSP-2013-5.1). Celem projektu jest promowanie dostępności mediów dla wszystkich odbiorców, a szczególnie osób z niepełnosprawnościami sensorycznymi i osób starszych. Więcej informacji nt. projektu można znaleźć na stronie: http://www.hbb4all.eu/

W ramach projektu przeprowadzono ankietę dotyczącą preferencji widzów na temat napisów filmowych. Raport z ankiety można znaleźć tu:

“Empirical evaluation of audiovisual translation: A new integrated approach”

finansowany i koordynowany przez University of Trieste Research Fund, 2014-2016

Projekty zakończone

„Audiodeskrypcja do filmów zagranicznych”

finansowany ze środków MNISW w ramach programu Iuventus Plus, 2010-2012

Więcej informacji na stronie: avt.ils.uw.edu.pl/ad-foreign/

„ClipFlair: foreign language learning through interactive captioning and revoicing of clips”

finansowany ze środków EU, nr projektu 519085-LLP-1-2011-1-ES-KA2-KA2MP, nr umowy 2011-4036/001-001, 2011-2014

Więcej informacji na stronie: http://clipflair.net/

„Digital Television for All”

finansowany ze środków UE z programu CIP ICT Policy Support Programme, 2009-2010

Więcej informacji na stronie: psp-dtv4all.org oraz naszej podstronie: DTV4ALL

„Audiodeskrypcja z syntezą mowy”

finansowany ze środków MNiSW jako grant badawczy własny, 2010-2011

Więcej informacji na stronie: avt.ils.uw.edu.pl/ad-tts/

Możliwość komentowania jest wyłączona.