Najważniejsze wnioski
Nie istnieje jeden uniwersalny wskaźnik dokładności, a każda liczba, którą gdzieś widziałeś, opisuje jeden konkretny system przetestowany na jednym konkretnym nagraniu. Czyste nagranie jednej osoby i głośna rozmowa kilku ludzi naraz dają wyniki tak odległe od siebie, że żaden procent nie odda obu naraz. To, co decyduje o efekcie, to samo nagranie: odległość od mikrofonu, szum w tle, mówienie jedno na drugie, pokrycie akcentów. Błędy też nie rozkładają się równo – większość transkryptu jest czysta, a problemy skupiają się przy nazwiskach, żargonie, liczbach i momentach, gdy ktoś mówi komuś w słowo. Do odnalezienia fragmentu nagrania to nie problem. Do cytowania – każdą linijkę trzeba sprawdzić z nagraniem.
Na pewno gdzieś natrafiłeś na procent przypisany do jakiegoś narzędzia do transkrypcji. To realny pomiar czegoś. Tylko nie jest to pomiar tego, co stanie się, kiedy wgrasz do niego swoje własne nagranie, a traktowanie go jak obietnicy to najprostszy sposób, żeby dać się zawiedzieć w najmniej odpowiednim momencie.
Sensowne pytanie nie brzmi, jak dokładna jest transkrypcja automatyczna w ogóle. Brzmi ono: czy transkrypt, który dostaniesz, będzie wystarczająco dobry do konkretnej rzeczy, do której go potrzebujesz. To dwa różne pytania z różnymi odpowiedziami, bo ten sam plik może być w pełni użyteczny do odnalezienia momentu w nagraniu i zupełnie nieprzydatny do zacytowania czyichś słów.
Procent dokładności mierzy jedno nagranie, nie system
Każda deklaracja dokładności to wynik puszczenia konkretnego systemu przez konkretne nagranie. Zmień nagranie i liczba się zmieni. To nie jest wada pomiaru. To po prostu to, czym ten pomiar jest.
Wyobraź sobie dwa bieguny. Jedna osoba, blisko mikrofonu, w cichym pomieszczeniu, mówiąca powszechnym akcentem o zwyczajnych rzeczach. To transkrybuje się bardzo dobrze. A teraz wyobraź sobie cztery osoby przy stole, w pomieszczeniu z włączoną klimatyzacją, mówiące jedna przez drugą, używające branżowego żargonu, przy czym dwie z nich siedzą metr i pół od telefonu. To transkrybuje się dużo gorzej. Oba przypadki to uczciwe pomiary tego samego systemu. Jedna liczba nie może opisać obu naraz, a różnica między nimi jest tak duża, że nawet uśrednianie nic nie da.
Więc kiedy widzisz liczbę bez informacji, na jakim nagraniu została zmierzona, najważniejsza informacja jest właśnie ta, której brakuje. Naprawdę wiesz tylko to, że ktoś coś przetestował. Test, który ma dla Ciebie znaczenie, to Twój własny materiał. Weź kilka minut nagrania podobnego do tych, z którymi normalnie pracujesz, przepuść je przez program i porównaj wynik z nagraniem. To mówi więcej niż jakakolwiek reklamowana liczba i zajmuje mniej czasu, niż czytanie porównań w internecie.
Nagranie ma większy wpływ na wynik niż samo oprogramowanie
Ludzie porównują narzędzia w poszukiwaniu tego najlepszego. Przy większości nagrań to niewłaściwy koniec problemu. Warunki, w jakich nagranie powstało, przesuwają wynik dalej, niż zmiana samego programu.
- Odległość od mikrofonu. Każdy dodatkowy kawałek dystansu to więcej pomieszczenia i mniej głosu. Telefon leżący na stole między dwiema osobami to zupełnie inne nagranie niż telefon trzymany przy jednej z nich.
- Szum w tle. Ruch ulicy, kawiarnia, wiatraki, klawiatura. Szum nie siedzi po prostu za mową, konkuruje z nią, a przegrywają te słowa, które są cichsze – często te na końcu zdania.
- Mówienie jedno na drugie. Kiedy dwie osoby mówią naraz, nie ma czystego sygnału do przetworzenia. Coś zostanie zapisane, ale często będzie to mieszanka obu wypowiedzi.
- Pokrycie akcentów. Niektóre akcenty są dużo lepiej reprezentowane w materiałach, na których uczył się dany system, a te słabiej reprezentowane dają gorsze wyniki na tym samym, czystym nagraniu.
Narzędzia naprawdę się różnią i jeśli Twój materiał jest stale trudny w ten sam sposób, przetestowanie kilku programów jest warte poświęconego na to popołudnia. Ale różnica między dwoma sensownymi narzędziami na tym samym nagraniu jest zwykle mniejsza niż różnica między dobrym i słabym nagraniem w tym samym narzędziu. Przybliżenie mikrofonu daje więcej niż zmiana produktu. Jeśli chcesz zrozumieć, co program robi z materiałem, który mu podajesz, ogólny obraz tego, jak działa transkrypcja AI, wyjaśnia, czemu te konkretne warunki mają takie znaczenie.
Błędy nie rozkładają się równo w całym pliku
To jest ta część, która zaskakuje ludzi najbardziej, i ma większe znaczenie niż liczba na okładce. Błędy się skupiają. Większość transkryptu wychodzi czysta, a problemy koncentrują się w kilku przewidywalnych miejscach: nazwy własne, słownictwo specjalistyczne, liczby i każdy moment, w którym ludzie mówią jedno przez drugie.
Zastanów się, co to znaczy dla czytania. Strona zwyczajnej rozmowy transkrybuje się dobrze i czyta gładko. Potem pojawia się nazwisko, nazwa produktu albo liczba – i wychodzi błędnie. Nic na stronie tego nie zaznacza. Błędne słowo stoi tą samą pewną czcionką jak te poprawne, otoczone zdaniami, które są prawidłowe, co jest właśnie kontekstem, przez który błąd wygląda wiarygodnie. Transkrypt może czytać się świetnie i być błędny akurat w tych miejscach, do których miał Ci służyć.
Jest powód, dla którego te kategorie zawodzą razem. Zwykłe słowa są ograniczone przez to, co je otacza, więc system, który jedno przesłyszy, może się odnaleźć z kontekstu. Nazwisko takiego ograniczenia nie ma – praktycznie każdy dźwięk może być czyimś nazwiskiem, a gramatyka niczego tu nie wyklucza. Żargon branżowy ma ten sam problem, z dodatkową trudnością, że zwykłe słowo często brzmi wystarczająco podobnie, żeby zostać podstawione za specjalistyczny termin. Liczby są najostrzejszym przypadkiem, bo niewielka różnica akustyczna daje kompletnie inną wartość, a zdanie w obu wersjach czyta się poprawnie.
Interpunkcja to zgadywanie, gdzie kończy się zdanie
Automatyczna interpunkcja to nie transkrypcja. To wniosek wyciągnięty z pauz, intonacji i rytmu na temat tego, gdzie kończy się jedna myśl i zaczyna następna. Przez większość czasu to zgadywanie jest trafne, albo trafne wystarczająco, żeby nikt tego nie zauważył.
Tam, gdzie się nie zgadza, zmienia się sens. Postawiony w środku zdania złożonego punkt może oddzielić zastrzeżenie od tego, czego dotyczyło, więc wypowiedź obwarowana warunkami zmienia się w twierdzenie, a warunek staje się faktem. Każde pojedyncze słowo może być poprawne, a zdanie mimo to może mówić coś innego, niż powiedziała osoba mówiąca. Ten rodzaj błędu jest niewidoczny na stronie, bo nie ma tam niczego, co by przykuło uwagę. Nie da się go wychwycić, czytając transkrypt. Rozstrzyga tylko nagranie.
Etykiety mówiących mają podobną słabość. Zwykle są poprawne w trakcie dłuższej wypowiedzi jednej osoby i najmniej wiarygodne w miejscach zmiany osoby mówiącej – to właśnie tam krótka wtrącona uwaga może zostać przypisana niewłaściwej osobie. Jeśli wyciągasz cytat z fragmentu blisko zmiany mówiącego, to jest linijka, którą warto odsłuchać ponownie.
Poziom wymagań ustala to, do czego transkrypt ma służyć
Pytanie nie brzmi, czy transkrypt jest dokładny. Brzmi, czy jest dokładny wystarczająco do konkretnego zadania, a zadania różnią się bardziej, niż większość ludzi by się spodziewała.
Jeśli używasz transkryptu, żeby coś odnaleźć, rozproszone błędy nie mają znaczenia. Wyszukałeś słowo, trafiłeś w pobliże właściwej minuty, odtworzyłeś nagranie. Transkrypt zrobił swoje, nawet jeśli trzy linijki wyżej jest zniekształcone nazwisko. Podobnie jest, gdy przeglądasz godzinę nagrania, żeby zdecydować, które dwadzieścia minut zasługuje na Twoją uwagę, albo gdy zamieniasz nagranie audio na tekst, żeby przeczytać je szybciej, niż mógłbyś je odsłuchać.
Jeśli transkrypt ma być cytowany, opublikowany, złożony gdzieś do akt albo mieć znaczenie dla kogoś, kto nie był w pomieszczeniu podczas nagrywania, poziom wymagań jest inny i nie ma tu miejsca na kompromis. Każda linijka, którą chcesz wykorzystać, zostaje sprawdzona z nagraniem – osobno, po kolei. Nie chodzi o przeczytanie całego dokumentu od początku do końca, ale o celowe odsłuchanie każdego cytowanego fragmentu, bo błędy opisane wyżej to właśnie takie, których zwykłe czytanie nie wychwyci. To dotyczy zwłaszcza wszystkiego, w czym waga zdania opiera się na liczbie lub nazwie.
Do dokumentu roboczego sensownym rozwiązaniem jest aplikacja. SozAI, dostępna na iOS, Android i macOS, zmienia nagrania, pliki audio i wideo oraz linki z YouTube w tekst z etykietami mówiących, podsumowaniami i tłumaczeniem na ponad 99 języków, a Ty i tak sprawdzasz cytaty z nagraniem, tak jak przy każdym automatycznym wyniku.
Kiedy sam transkrypt ma być gotowym produktem, odpowiedzią są usługi transkrypcji wykonywanej przez człowieka. Kosztują więcej, bo ktoś siedzi i słucha, i właśnie za to płacisz: za osobę, która usłyszy nazwisko i zapisze je poprawnie, wie, gdzie kończy się zdanie, i zgłasza fragment naprawdę niesłyszalny, zamiast go zgadywać. Jeśli dokument trafia do klienta, sądu, archiwum albo publikacji, ten koszt kupuje Ci coś realnego. Jeśli transkrypt jest narzędziem, którego używasz prywatnie, żeby szybciej dotrzeć do nagrania, ten koszt kupuje coś, czego nie potrzebujesz.
Drugie nagranie jest lepsze niż godzina poprawek
Poprawienie samego nagrywania jest prawie zawsze tańsze niż poprawianie wyniku. Dziesięć minut poświęcone na przybliżenie mikrofonu, zamknięcie okna, wyłączenie wentylatora i poproszenie ludzi, żeby mówili po kolei, zaoszczędzi więcej pracy niż godzina poprawiania tekstu później, a efekt będzie lepszy, niż samo poprawianie – bo poprawiony transkrypt jest dobry tylko na tyle, na ile wystarczyło Ci cierpliwości pod koniec.
Najłatwiej to wdrożyć przy czymś powtarzalnym. Jeśli regularnie nagrywasz podobne rozmowy, jedna runda uwagi poświęconej ustawieniu nagrania poprawia wszystko, co nagrasz od tej pory. Ma to największe znaczenie w przypadku wywiadów, gdzie materiał często jest niepowtarzalny, a cytaty są całym sensem nagrania; praktyczne aspekty transkrypcji wywiadów to w dużej mierze praktyczne aspekty ich nagrywania.
Czasem nie ma drugiej szansy. Rozmowa odbyła się raz, telefon był w kieszeni i to jest jedyne nagranie, jakie masz. W takiej sytuacji uczciwym wyjściem jest przestać liczyć, że program to uratuje, i zamiast tego zaplanować czas na poprawki albo przekazać materiał człowiekowi. Trudne nagranie nie stanie się łatwe tylko dlatego, że tego potrzebowałeś.
Czego się spodziewać po otwarciu pliku
Spodziewaj się płynnego, czytelnego tekstu z kilkoma błędnymi nazwami w środku. Spodziewaj się, że fragmenty, w których ludzie mówili jedno przez drugie, będą ubogie, zniekształcone albo po prostu w nich będzie brakować treści. Spodziewaj się interpunkcji, której sam byś tak nie postawił, i etykiet mówiących ogólnie poprawnych, ale zawodnych w miejscach zmiany osoby. Nie licz na żadne oznaczenia, podświetlenia czy znaki niepewności. Dokument będzie wyglądał równie pewnie na całej długości, ale nie będzie równie poprawny na całej długości.
Spodziewaj się, że nazwiska i terminy specjalistyczne będą wymagały sprawdzenia niezależnie od jakości nagrania. Zawodzą też przy czystym dźwięku, tylko rzadziej.
I zachowaj nagranie. Automatyczny transkrypt nie może sam siebie zweryfikować, a wszystkie ważne kontrole wymagają odsłuchania. Transkrypt z nagraniem w tle jest wiarygodnym narzędziem roboczym. Transkrypt bez nagrania jest dokumentem, którego nikt nie może sprawdzić – Ty również nie.
