Respeaking

Co to jest respeaking? | Respeaking w Polsce | Respeaking na świecie | Cele projektu | Metoda badawcza | Jak zostać respeakerem

Co to jest respeaking?

Respeaking to technika opracowywania napisów, polegająca na wykorzystaniu oprogramowania do rozpoznawania mowy (speech-to-text). Respeaker słucha oryginalnych wypowiedzi wypowiadanych na żywo i powtarza (re-speaks) usłyszane słowa, dodając niezbędne znaki interpunkcyjne i elementy na potrzeby osób niesłyszących (kolory, etykietki mówców) oraz dokonując niezbędnych zmian edycyjnych. Następnie słowa respeakera są przetwarzane przez program do rozpoznawania mowy, który  kolei zamienia rozpoznane wypowiedzi na tekst, który jest następnie wyświetlany w formie napisów na ekranie  możliwie jak najkrótszym opóźnieniem (zob. Romero Fresco 2011: 1).

Mówca wypowiada tekst. Respeaker powtarza lub tłumaczy tekst. Program do rozpoznawania mowy przetwarza wypowiedź respeakera na tekst. Respeaker lub redaktor poprawia ewentualne błędy. Respeaker lub redaktor wypuszcza tekst w formie napisów na ekranie.
Rys. 1. Schemat procesu tworzenia napisów na żywo przy wykorzystaniu respeakingu

Respeaking jest na świecie najczęściej stosowany jako narzędzie intrajęzykowe, jednak może być też wykorzystany do tłumaczenia między językami (den Boer 2001). Grupą docelową napisów tworzonych za pomocą respeakingu są osoby niesłyszące i słabosłyszące (zob. Eugeni 2007, Eugeni 2008), a także osoby uczące się języka, obcokrajowcy i inni (Díaz Cintas & Remael 2007).

Osoby wykonujące zawód respeakera muszą posiadać kompetencje lingwistyczne (umiejętność jednoczesnego słuchania i mówienia w tym samym języku bądź tłumaczenia wypowiedzi na żywo na język obcy, a także parafrazowania usłyszanych wypowiedzi i dokonywania w nich niezbędnych skrótów oraz umiejętność odsłuchu, tj. jednoczesnego słuchania wypowiedzi mówców i własnego głosu w celu kontrolowania intonacji i wyeliminowania błędów w produkcji) i kompetencje techniczne (znajomość narzędzi do rozpoznawania mowy, umiejętność opracowywania napisów).

Respeaking w Polsce

Polska jest jednym z krajów, gdzie tą metodą nie tworzy się napisów do programów telewizyjnych nadawanych na żywo. Barierą w rozwoju usługi jest aktualny stan prawny. Zgodnie z prawem telewizje zobowiązane są do zapewnienia zaledwie 10% treści z usługami dostępu: napisami, audiodeskrypcją i tłumaczeniem migowym. W krajach, w których respeaking jest dominującą metodą tworzenia napisów, istnieje obowiązek prawny zapewnienia samych napisów na poziomie 70-80% kontentu.
Zastosowanie napisów na żywo technologicznie jest w Polsce możliwe. Programy do rozpoznawania mowy polskiej są stale rozwijane. Nie były one jednak nigdy stosowane do tworzenia napisów na żywo do programów audiowizualnych, co jest przedmiotem niniejszego badania. Od 2013 roku rozpoznawania i przetwarzanie mowy na tekst jest z powodzeniem  wykorzystywane do tworzenia napisów na żywo podczas konferencji oraz w transmisji online m.in.  w Sejmie RP, Pałacu Prezydenckim, podczas wydarzeń Fundacji
Kultury Bez Barier oraz Fundacji Widzialni. Oprogramowanie wykorzystywane jest do rozpoznawania mowy polskiej i wyświetlania tekstu wystąpień, który nie ma jednak formy typowych napisów telewizyjnych.

Respeaking na świecie


Cele projektu

Celem projektu jest:
(1) dogłębne zrozumienie procesu respeakingu, a zwłaszcza wykorzystania zasobów poznawczych podczas respeakingu na szeregu materiałów audiowizualnych przez osoby o różnych kompetencjach
(2) zbadanie kompetencji respeakera, czyli osoby opracowującej napisy na żywo przy wykorzystaniu oprogramowania do rozpoznawania mowy i przetwarzania jej na tekst (speech-to-text), a w szczególności wpływu pamięci roboczej na wykonywanie respeakingu i umiejętności parafrazowania tekstu;
(3) analiza napisów na żywo tworzonych za pomocą respeakingu z wykorzystaniem narzędzi jakościowych i ilościowych w celu określenia poprawności i stopy błędów w napisach opracowanych przez osoby o różnych kompetencjach w celu określenia niezbędnych kompetencji oraz lepszego zrozumienia procesu respeakingu.
W badaniu wezmą udział trzy grupy badanych: adepci przekładu ustnego (posiadający umiejętności lingwistyczne i translatoryczne oraz wyćwiczoną pamięć roboczą), adepci przekładu pisemnego (posiadający umiejętności lingwistyczne i translatoryczne) oraz grupa kontrolna.

Celem projektu jest zrozumienie procesu respeakingu oraz zbadanie, jakie kompetencje najkorzystniej wpływają na dobrą jakość napisów tworzonych za pomocą respeakingu. W tym celu trzy grupy uczestników badania (1. adepci przekładu ustnego, 2. adepci przekładu pisemnego, oraz 3. grupa kontrolna) zostaną poddane badaniom pojemności pamięci roboczej, która według stawianej przez nas hipotezy może mieć znaczący wpływ na proces wykonywania respeakingu. Następnie uczestnicy przejdą testy sprawdzające ich umiejętności parafrazowania, niezbędne podczas opracowywania napisów za pomocą respeakingu. Następnie uczestnicy przejdą testy respeakingu do różnych gatunków audycji telewizyjnych, podczas których będą rejestrowane ruchy ich gałek ocznych (za pomocą okulografu), wszystkie wykonywane przez nich na komputerze czynności (za pomocą oprogramowania typu screen recording) oraz aktywność ich mózgu (za pomocą EEG). Narzędzia te posłużą dogłębnemu zrozumieniu procesu respeakingu poprzez zbadanie wykorzystania zasobów poznawczych podczas wykonywania respeakingu przez osoby o różnych kompetencjach oraz zdefiniowanie obszarów sprawiających respeakerom najwięcej trudności. Napisy stworzone przez uczestników badania podczas testów respeakingu zostaną poddane analizie jakości, w której zostaną uwzględnione m.in. poprawność przełożenia tekstu oryginalnego na napisy, opóźnienie, rodzaje błędów (wynikające z błędnego rozpoznania wypowiedzi przez program oraz z pomyłek respeakerów). W projekcie zostanie również dokonana triangulacja empirycznych danych ilościowych pochodzących z okulografu i EEG z danymi jakościowymi w postaci wywiadu retrospektywnego z osobami badanymi z wykorzystaniem danych z nagrań. Efektem badania będzie zatem wiedza naukowa dotycząca procesu respeakingu i optymalnych kompetencji respeakerów.

Metoda badawcza

W projekcie przewidywane są następujące fazy pracy badawczej:
(1) testy pojemności pamięci roboczej (listening span task, reading span oraz auditory digit span task), z wykorzystaniem oprogramowania rejestrującego poprawność i czasy reakcji;
(2) testy umiejętności parafrazowania i kondensacji tekstu, gdzie zmiennymi niezależnymi będą jakość parafrazy oraz opóźnienie produkcji parafrazy w stosunku do oryginału;
(3) testy respeakingu na materiałach audiowizualnych o różnych poziomie trudności – z wykorzystaniem EEG do monitorowania aktywności mózgu podczas respeakingu, okulografu do obserwacji uwagi wizualnej osób wykonujących respeaking oraz oprogramowania screen recording do badania czynności wykonywanych przez osoby badane podczas respeakingu;
(4) analiza jakościowa i ilościowa napisów stworzonych przez różne grupy badanych;
(5) wywiady retrospektywne;
(6) triangulacja danych.

Jak zostać respeakerem?

Weź udział w naszym projekcie!

    Zapraszamy Cię za bezpłatne warsztaty. W programie m.in.:

  • Wprowadzenie do respeakingu
  • Respeaking na świecie i w Polsce
  • Oprogramowanie do rozpoznawania mowy dla języka polskiego
  • Program do opracowywania napisów na żywo FAB Subtitler Live
  • Praktyczne warsztaty respeakingowe na materiałach polsko- i anglojęzycznych
  • Ocena jakości napisów na żywo tworzonych metodą respeakingu – model NER

Osoby, które ukończą kurs i wezmą udział w badaniu otrzymają zaświadczenie potwierdzające ukończenie kursu.

    Terminy szkoleń:

  • 5-6 lutego 2015 r. – prowadzący: dr Pablo Romero Fresco (University of Roehampton)
  • 7-8 lutego 2015 r. – prowadzący: dr Carlo Eugeni (University of Parma/Respeaking on Air)
  • 16-17 lutego 2015 r. – prowadzący: Juan Martinez Perez (Swiss TXT)

Szkolenia odbywają się w godz. 9.30-18.00 w siedzibie Instytutu Lingwistyki Stosowanej UW przy ul. Dobrej 55 w Sali 01.063 na poziomie -1.

Biorąc udział w kursie uczestnicy szkolenia jednocześnie zobowiązują się do wzięcia udziału w badaniu respeakingowych (testy pamięci roboczej, testy parafrazowania, testy respeakingowe).
Szkolenie jest finansowane ze środków programu OPUS 6 Narodowego Centrum Nauki z projektu „Respeaking – proces, kompetencje, jakość”

Możliwość komentowania jest wyłączona.