Автоматичні субтитри: як створити субтитри зі звукової доріжки відео
Як DijiFlow Dictate перетворює звукову доріжку відео на рядки субтитрів із таймінгом просто на вашому комп'ютері і як...
У вашому кошику %itemCount%.Разом %total%
Як DijiFlow Dictate перетворює ваш голос на текст прямо на вашому комп'ютері за допомогою локальних мовленнєвих моделей і Apple Silicon. Пояснюємо простими словами.
Диктування здається дивом, доки ви не поставите собі очевидне питання: а куди насправді йде мій голос? У випадку DijiFlow Dictate чесна відповідь: нікуди. Ви говорите, текст з'являється біля курсора, і жодне слово не потрапляє на сервер. Без облікового запису й без вивантаження аудіо чи тексту. Це не обіцянка приватності, дописана наостанок. Так просто влаштований застосунок.
Усе тримається на трьох добре відомих складниках: мовленнєва модель, яка розпізнає мовлення; середовище виконання, яке ефективно запускає її на Mac; і Apple Silicon, чип, завдяки якому все працює миттєво. Спеціальні знання не потрібні: нижче про кожен складник простими словами.
В основі DijiFlow Dictate лежать моделі розпізнавання мовлення, які працюють на вашому власному комп'ютері. Простими словами, мовленнєва модель є дуже потужною системою розпізнавання закономірностей, навченою на величезній кількості аудіозаписів разом із їхніми транскрипціями. З цих даних вона вчиться зіставляти звуки, які вимовляють люди, зі словами, які вони мають на увазі, з будь-яким акцентом, на тлі шуму й з природними паузами живого мовлення.
Коли ви диктуєте, модель визначає найімовірнішу послідовність слів за звуком із мікрофона, і робить це справді добре. На чіткому мовленні вона досягає приблизно 98% точності, а DijiFlow Dictate транскрибує 29 мов із повною підтримкою й розпізнає 90+ мов з автовизначенням. Модель враховує контекст, а не підбирає слова поодинці, тож добре справляється з тим, як люди говорять насправді, з усіма запинками й недомовками.
Багатьох це дивує: застосунок і «розум» програми лежать у двох різних файлах. На Mac сам DijiFlow Dictate невеликий, близько 34 МБ. Основна вага припадає на мовленнєві моделі: приблизно від 300 МБ до 6 ГБ залежно від того, яку ви оберете. У Pro і в пробному періоді найточніша модель «Велика», «Експрес» майже не поступається їй і працює швидше, а «Швидка» найшвидша й підтримує 16 мов, зокрема англійську. Безкоштовна версія використовує моделі «Стандартна» й «Покращена». Ви самі обираєте, що для вас важливіше: швидкість чи точність.
Модель завантажується один раз, і після цього для транскрипції інтернет узагалі не потрібен. Саме завдяки цьому одноразовому кроку ваш голос може залишатися на вашому комп'ютері.
Мовленнєва модель корисна, лише якщо працює швидко й не розряджає батарею. Цим займається середовище виконання, тобто шар, який запускає моделі машинного навчання прямо на пристрої. Його можна уявити як перекладача й диспетчера водночас: він бере мовленнєву модель і вирішує, які частини вашого обладнання найкраще для неї підходять.
На Mac мовленнєві моделі DijiFlow Dictate скомпільовано для власного фреймворку машинного навчання Apple, який входить до macOS. Тобто модель оптимізована саме під обладнання Apple і не працює як універсальний, повільніший код, тож диктування встигає за природним мовленням і майже не навантажує систему. І все це відбувається локально: цей фреймворк не хмарний сервіс, а частина операційної системи, яка дає застосункам змогу запускати моделі машинного навчання приватно, прямо на пристрої.
Залишилося обладнання. У сучасних Mac ідеться про Apple Silicon (чипи серії M) у комп'ютерах із macOS 14 або новішою версією. Ці чипи мають окремий Neural Engine, тобто блок, створений спеціально для того, щоб швидко й енергоощадно виконувати моделі машинного навчання. А коли потрібно більше потужності, через Metal підключається графічний процесор.
Вам нічого з цього не треба налаштовувати. Фреймворк сам розподіляє роботу між відповідними частинами обладнання: ви просто говорите, а чип обробляє мовлення в реальному часі. У цьому непомітна перевага роботи на пристрої: той самий чип, завдяки якому ваш Mac так швидко реагує, робить приватне диктування зручним.
Якщо розставити ці три складники по порядку, шлях виявиться коротким і повністю локальним.
Звук із мікрофона записується на пристрої й нікуди не передається.
Модель перетворює звук на слова тут же, на Apple Silicon, у реальному часі.
Слова з'являються в тому застосунку, де ви вже працюєте. Вони нікуди не надсилаються, тож і витекти нічому.
Головне
Модель працює на вашому комп'ютері, тож транскрипція зводиться до локальних обчислень. Немає сервера, який міг би зберегти, перехопити чи тихцем залишити собі ваш голос.
Більшість голосових інструментів насправді хмарні сервіси з іконкою застосунку: їм щоразу потрібні підключення й обліковий запис, бо модель, яка вас розуміє, працює на чужому обладнанні. У DijiFlow Dictate навпаки: ви встановлюєте все один раз, і робота переходить на ваш чип.
| Як це працює | DijiFlow (на пристрої) | Хмарне диктування |
|---|---|---|
| Працює після одного завантаження | ✓ | ✗ |
| Транскрибує без інтернету | ✓ | ✗ |
| Обліковий запис не потрібен | ✓ | ✗ |
| Аудіо залишається на вашому пристрої | ✓ | ✗ |
Той самий підхід працює і на Windows 10 і 11, де DijiFlow Dictate використовує відеокарти AMD, Intel і NVIDIA. Для NVIDIA потрібні CUDA й актуальний драйвер, але принцип той самий: мовлення транскрибується локально, а голос і текст нікуди не надсилаються.
Нічого незвичайного тут немає. DijiFlow Dictate побудовано на відкритих і добре вивчених технологіях: мовленнєві моделі розпізнають голос, фреймворк машинного навчання Apple їх запускає, а Apple Silicon дає обладнання. Важливе лише одне рішення: усе це залишається на вашому пристрої. Тож ви отримуєте зручність сучасного диктування й ніколи нікому не віддаєте свій голос, хоч у безкоштовній версії, хоч у пробному періоді, хоч у Pro.
Якщо хочете відчути все на власному досвіді, а не читати, спробуйте приватне диктування на пристрої безкоштовно протягом 30 днів у тарифі Pro.