Automatyczne napisy do filmów: jak wygenerować je z dźwięku
Jak DijiFlow Dictate zamienia ścieżkę dźwiękową filmu na zsynchronizowane wiersze napisów na Twoim komputerze i który...
Masz %itemCount% w koszyku.Razem %total%
Jak DijiFlow Dictate zamienia Twój głos w tekst na Twoim własnym komputerze dzięki lokalnym modelom mowy i Apple Silicon. Wyjaśniamy to prostym językiem.
Dyktowanie zwykle wydaje się magią, dopóki nie zadasz oczywistego pytania: dokąd właściwie trafia mój głos? W przypadku DijiFlow Dictate uczciwa odpowiedź brzmi: donikąd. Mówisz, tekst pojawia się w miejscu kursora i ani jedno słowo nie trafia na serwer. Bez konta i bez wysyłania nagrania czy tekstu. To nie obietnica prywatności dopisana na końcu, tylko prosta konsekwencja tego, jak zbudowana jest aplikacja.
Całość opiera się na trzech dobrze znanych elementach: modelu mowy odpowiedzialnym za słuchanie; środowisku uruchomieniowym sprawnie obsługującym go na Macu; oraz Apple Silicon, czyli procesorze, dzięki któremu wszystko dzieje się błyskawicznie. Nie potrzebujesz żadnej wiedzy technicznej: każdy z nich wyjaśniamy prostymi słowami.
Sercem DijiFlow Dictate są modele rozpoznawania mowy działające na Twoim własnym komputerze. Mówiąc najprościej, model mowy to bardzo rozbudowany system rozpoznawania wzorców, wytrenowany na ogromnej ilości nagrań wraz z ich transkrypcjami. Uczy się z nich, jak dźwięki, które wydajemy, odpowiadają słowom, które mamy na myśli, niezależnie od akcentu, szumu w tle i naturalnych pauz w mowie.
Gdy dyktujesz, model przewiduje najbardziej prawdopodobny ciąg słów na podstawie dźwięku z mikrofonu i robi to naprawdę dobrze. Przy wyraźnej mowie osiąga około 98% dokładności, a DijiFlow Dictate transkrybuje 29 języków z pełną obsługą i rozpoznaje ponad 90 z automatycznym wykrywaniem. Ponieważ bierze pod uwagę kontekst, a nie dopasowuje pojedynczych słów, radzi sobie z chaotycznym sposobem, w jaki naprawdę mówimy.
To zaskakuje wiele osób: aplikacja i „inteligencja” to dwa osobne pliki. Na Macu sam DijiFlow Dictate jest niewielki, ma około 34 MB. Najwięcej ważą modele mowy: od około 300 MB do 6 GB w zależności od wybranego modelu. W Pro i w okresie próbnym najdokładniejszy jest „Duży”, „Ekspres” jest niewiele mniej dokładny i szybszy, a najszybszy jest „Szybki”, dostępny w 16 językach, w tym w angielskim; wersja darmowa korzysta z modeli „Standardowy” i „Ulepszony”. To Ty wybierasz, co jest ważniejsze: szybkość czy dokładność.
Model pobierasz raz, a potem transkrypcja w ogóle nie potrzebuje internetu. Właśnie dzięki temu jednorazowemu krokowi Twój głos może zostać na komputerze.
Model mowy przydaje się tylko wtedy, gdy działa szybko i nie wyczerpuje baterii. Za to odpowiada środowisko uruchomieniowe, czyli warstwa, która uruchamia modele uczenia maszynowego bezpośrednio na urządzeniu. Można je porównać do tłumacza i kontrolera ruchu w jednym: bierze model mowy i decyduje, jak go uruchomić na najbardziej odpowiednich częściach Twojego sprzętu.
Na Macu modele mowy DijiFlow Dictate są skompilowane pod framework uczenia maszynowego Apple, który jest częścią macOS. Dzięki temu model jest zoptymalizowany właśnie pod sprzęt Apple i nie działa jako ogólny, wolniejszy kod, więc dyktowanie nadąża za naturalną mową, a system nie jest przy tym obciążony. Wszystko dzieje się lokalnie: ten framework nie jest usługą w chmurze, tylko częścią systemu operacyjnego, która pozwala aplikacjom prywatnie uruchamiać modele uczenia maszynowego na samym urządzeniu.
Ostatni element to sprzęt. W nowych Macach oznacza to Apple Silicon (procesory z serii M) w komputerach z systemem macOS 14 lub nowszym. Mają one wbudowany Neural Engine, czyli część układu zaprojektowaną specjalnie do szybkiego i bardzo energooszczędnego uruchamiania modeli uczenia maszynowego, a gdy potrzeba więcej mocy, do pracy włącza się też GPU przez Metal.
Niczego z tego nie musisz konfigurować. Framework sam rozdziela pracę na odpowiedni sprzęt; Ty po prostu mówisz, a procesor robi resztę w czasie rzeczywistym. Na tym polega niepozorna zaleta przetwarzania na urządzeniu: ten sam układ, dzięki któremu Mac działa sprawnie, sprawia, że prywatne dyktowanie jest wygodne w praktyce.
Gdy ułożysz te trzy elementy po kolei, droga okazuje się krótka i całkowicie lokalna.
Dźwięk z mikrofonu jest nagrywany na urządzeniu i nigdzie nie jest przesyłany.
Model zamienia dźwięk na słowa na miejscu, na Apple Silicon, w czasie rzeczywistym.
Słowa pojawiają się w aplikacji, w której właśnie pracujesz. Nie są nigdzie wysyłane, więc nie ma czego ujawnić.
Najważniejsze
Model działa na Twoim komputerze, więc transkrypcja to zwykłe obliczenia lokalne: po drodze nie ma serwera, który mógłby zapisać, przechwycić albo po cichu zachować Twój głos.
Większość narzędzi głosowych to usługi w chmurze z ikoną aplikacji: za każdym razem wymagają połączenia i konta, bo model, który Cię rozumie, działa na cudzym sprzęcie. DijiFlow Dictate działa odwrotnie: instalujesz go raz, a cała praca przenosi się na Twój procesor.
| Jak to działa | DijiFlow (na urządzeniu) | Dyktowanie w chmurze |
|---|---|---|
| Działa po jednorazowym pobraniu | ✓ | ✗ |
| Transkrypcja bez internetu | ✓ | ✗ |
| Bez konta | ✓ | ✗ |
| Dźwięk zostaje na Twoim urządzeniu | ✓ | ✗ |
To samo podejście działa też na Windowsie 10 i 11, gdzie DijiFlow Dictate korzysta z kart graficznych AMD, Intel i NVIDIA. Karty NVIDIA wymagają CUDA i aktualnego sterownika, ale zasada jest ta sama: mowa jest transkrybowana lokalnie, a głos i tekst nie są nigdzie wysyłane.
Nie ma tu nic egzotycznego. DijiFlow Dictate opiera się na otwartej, dobrze znanej technologii: modelach mowy, które słuchają, frameworku uczenia maszynowego Apple jako środowisku uruchomieniowym i Apple Silicon jako sprzęcie. Najważniejsza decyzja to trzymanie wszystkiego na Twoim urządzeniu, dzięki czemu masz wygodę nowoczesnego dyktowania i nigdy nikomu nie oddajesz swojego głosu, w wersji darmowej, w okresie próbnym i w Pro.
Jeśli wolisz sprawdzić to w praktyce, niż o tym czytać, możesz przez 30 dni bezpłatnie wypróbować prywatne dyktowanie na urządzeniu ze wszystkimi funkcjami Pro.