Автоматические субтитры: как получить их из звуковой дорожки видео
Как DijiFlow Dictate превращает звуковую дорожку видео в строки субтитров с таймингом прямо на вашем компьютере и как...
У вас в корзине %itemCount%.Итого %total%
Как DijiFlow Dictate превращает ваш голос в текст прямо на вашем компьютере с помощью локальных речевых моделей и Apple Silicon. Объясняем простым языком.
Большинство систем диктовки кажутся волшебством, пока не зададитесь очевидным вопросом: куда на самом деле уходит мой голос? В случае DijiFlow Dictate честный ответ: никуда. Вы говорите, текст появляется у курсора, и ни одно слово не попадает на сервер. Без аккаунта и без отправки звука или текста. Это не обещание конфиденциальности, добавленное в последний момент, а прямое следствие того, как устроено приложение.
Всё держится на трёх хорошо изученных компонентах: речевая модель, которая слушает; среда выполнения, которая эффективно запускает её на Mac; и Apple Silicon, чип, благодаря которому всё кажется мгновенным. Специальные знания не нужны: ниже каждый компонент объяснён простыми словами.
В основе DijiFlow Dictate лежат модели распознавания речи, которые работают на вашем компьютере. Если говорить просто, речевая модель представляет собой очень большую систему поиска закономерностей, обученную на огромном количестве аудиозаписей вместе с их текстовыми расшифровками. По этим данным она учится сопоставлять звуки, которые издают люди, со словами, которые они имеют в виду, несмотря на акценты, фоновый шум и естественные паузы живой речи.
Когда вы диктуете, модель предсказывает самую вероятную последовательность слов по звуку с микрофона, и справляется с этим действительно хорошо. При чёткой речи она достигает примерно 98% точности, а DijiFlow Dictate полностью поддерживает 29 языков и с автоопределением распознаёт более 90. Модель учитывает контекст, а не сопоставляет слова по одному, поэтому справляется с тем сумбурным способом, каким люди говорят на самом деле.
Именно это многих удивляет: приложение и «интеллект» хранятся в разных файлах. На Mac сам DijiFlow Dictate небольшой, около 34 МБ. Основной объём приходится на речевые модели: примерно от 300 МБ до 6 ГБ в зависимости от выбранной. В Pro и в пробном периоде точнее всего работает модель «Большая», модель «Экспресс» почти не уступает ей и работает быстрее, а самая быстрая модель «Быстрая» доступна на 16 языках, включая английский. Бесплатная версия использует модели «Стандартная» и «Улучшенная». Баланс скорости и точности вы выбираете сами.
Модель скачивается один раз, а после этого для расшифровки интернет вообще не нужен. Именно благодаря этому однократному шагу ваш голос может оставаться на вашем компьютере.
Речевая модель полезна, только если она работает быстро и не сажает батарею. За это отвечает среда выполнения, слой, который запускает модели машинного обучения прямо на устройстве. Её можно представить как переводчика и регулировщика сразу: она берёт речевую модель и решает, как запустить её на самых подходящих частях вашего оборудования.
На Mac речевые модели DijiFlow Dictate скомпилированы для собственного фреймворка машинного обучения Apple, входящего в macOS. Благодаря этому модель оптимизирована именно под оборудование Apple и не работает как универсальный, более медленный код, поэтому диктовка поспевает за естественной речью и почти не нагружает систему. И всё это происходит локально: этот фреймворк не облачный сервис, а часть операционной системы, которая позволяет приложениям запускать модели машинного обучения конфиденциально, прямо на устройстве.
Последний компонент относится к оборудованию. На современных Mac это Apple Silicon, то есть чипы серии M в компьютерах с macOS 14 или новее. В этих чипах есть отдельный Neural Engine, часть кристалла, созданная специально для того, чтобы быстро и с минимальным расходом энергии выполнять модели машинного обучения, а когда нужна дополнительная мощность, через Metal подключается графический процессор.
Настраивать ничего из этого не нужно. Фреймворк сам распределяет работу по подходящему оборудованию: вы просто говорите, а чип обрабатывает речь в реальном времени. В этом и состоит незаметное преимущество работы на устройстве: те же чипы, благодаря которым ваш Mac быстро откликается, делают конфиденциальную диктовку практичной.
Если выстроить три компонента по порядку, путь получается коротким и полностью локальным.
Звук с микрофона записывается на устройстве и никуда не передаётся.
Модель превращает звуки в слова прямо на Apple Silicon, в реальном времени.
Слова появляются в том приложении, где вы сейчас работаете. Они никуда не отправляются, поэтому утекать нечему.
Главное
Модель находится на вашем компьютере, поэтому расшифровка сводится к локальным вычислениям: в цепочке нет сервера, который мог бы сохранить, перехватить или тихо оставить у себя ваш голос.
Большинство голосовых инструментов на деле представляют собой облачные сервисы со значком приложения: им каждый раз нужны подключение и аккаунт, потому что модель, которая вас понимает, живёт на чужом оборудовании. DijiFlow Dictate устроен наоборот: вы устанавливаете его один раз, и работа переходит на ваш чип.
| Как это работает | DijiFlow (на устройстве) | Облачная диктовка |
|---|---|---|
| Работает после однократной загрузки | ✓ | ✗ |
| Расшифровка без интернета | ✓ | ✗ |
| Аккаунт не нужен | ✓ | ✗ |
| Звук остаётся на вашем устройстве | ✓ | ✗ |
Тот же подход действует и в Windows 10 и 11, где DijiFlow Dictate работает на видеокартах AMD, Intel и NVIDIA. Для оборудования NVIDIA нужны CUDA и свежий драйвер, но принцип тот же: речь расшифровывается локально, а голос и текст никуда не отправляются.
Ничего экзотического здесь не происходит. DijiFlow Dictate построен на открытых и хорошо изученных технологиях: речевые модели отвечают за распознавание, фреймворк машинного обучения Apple выступает средой выполнения, а оборудованием служит Apple Silicon. Главное решение в том, чтобы всё это оставалось на вашем устройстве. Так вы получаете удобство современной диктовки и никогда никому не отдаёте свой голос, будь то бесплатная версия, пробный период или Pro.
Если хочется не читать, а испытать всё на деле, конфиденциальную диктовку на устройстве можно 30 дней бесплатно попробовать на тарифе Pro.