视频字幕自动生成:直接从视频原声生成字幕文件
DijiFlow Dictate 如何在您的电脑上把视频音轨变成带时间轴的字幕行,以及四种输出格式该怎么选。
您的购物车中有 %itemCount%。合计 %total%
DijiFlow Dictate 怎样借助本地语音模型和 Apple Silicon,在你自己的电脑上把声音变成文字。不讲术语,只讲原理。
大多数听写工具用起来都像变魔术,直到你问出一个最简单的问题:我的声音到底去了哪里?对 DijiFlow Dictate 来说,如实的回答是:哪儿也没去。你开口说话,文字出现在光标处,没有一个词被传到服务器。不需要账户,音频和文字也都不会上传。这不是事后补上的隐私承诺,而是这款应用的构造本身决定的。
让它运转的,是三个早已成熟的部分:负责“听”的语音模型;让模型在 Mac 上高效运行的运行时;还有让这一切快到几乎即时的芯片 Apple Silicon。不需要任何背景知识,下面用大白话逐一说明。
DijiFlow Dictate 的核心,是在你自己电脑上运行的语音识别模型。简单来说,语音模型就是一个规模极大的模式匹配器,用海量音频和对应的文字稿训练而成。它从这些数据里学会了人发出的声音和想说的词之间怎样对应,不管口音如何、有没有背景噪音,也能应对真实说话时的自然停顿。
你听写时,模型会根据麦克风录到的声音,推测出最可能的词语序列,而且它在这方面确实很强。清晰语音的识别准确率可达约 98%。DijiFlow Dictate 完整支持 29 种语言的转录,开启自动检测后还能识别 90 多种语言。它读的是上下文,而不是一个词一个词地对照,所以能应付人们真实说话时那种不太规整的样子。
这一点常常出乎人们意料:应用本身和负责识别的“大脑”是两个不同的文件。在 Mac 上,DijiFlow Dictate 本身很小,只有约 34 MB。真正占空间的是语音模型,按所选模型不同,大小从约 300 MB 到 6 GB 不等。在 Pro 版和试用期间,“大型”最准确,“Express”准确率接近“大型”而且更快,“快速”速度最快,支持包括英语在内的 16 种语言;免费版使用“标准”和“增强”。速度和准确率之间怎么平衡,由你自己选择。
模型只需下载一次,之后转录完全不需要联网。正是这一次下载,让你的声音可以一直留在自己的电脑上。
语音模型要真正好用,就得跑得快,还不能太耗电。这就是运行时的工作:它是在设备本地运行机器学习模型的那一层。你可以把它想象成翻译加调度员:拿到一个语音模型后,它会想办法调用硬件里最合适的部分来运行。
在 Mac 上,DijiFlow Dictate 的语音模型针对 Apple 自家的机器学习框架做了编译,这个框架是 macOS 的一部分。也就是说,模型专门为 Apple 硬件做了优化,而不是以通用的、更慢的代码运行,所以听写既能跟上正常语速,又不怎么占用系统资源。而且一切都在本地完成:这个框架不是云端服务,而是操作系统的一部分,让应用可以在本机私密地运行机器学习模型。
最后一块是硬件。在新款 Mac 上,这指的就是 Apple Silicon,也就是运行 macOS 14 或更高版本的 Mac 所搭载的 M 系列芯片。这些芯片内置专门的神经网络引擎:一块专门用来高速、低功耗运行机器学习模型的芯片区域;需要更多算力时,还可以通过 Metal 调用 GPU。
这些都不需要你来设置。框架会自动把工作分配到合适的硬件上;你只管说,芯片会实时处理。这就是本地设计不显山露水的优势:让你的 Mac 反应灵敏的那块芯片,也正是让私密听写成为可能的关键。
把这三部分按顺序串起来,整个过程很短,而且完全在本地完成。
麦克风录到的声音在设备上采集,不会传到任何地方。
模型直接在 Apple Silicon 上实时把声音转成文字。
你说的话出现在你正在用的应用里。这些内容不会被发送出去,也就没有什么可以泄露。
要点
模型就在你的电脑上,所以转录只是一次本地计算。整个过程没有服务器参与,也就没有谁能存储、截获或悄悄留存你的声音。
大多数语音工具其实是套着应用图标的云端服务:每次使用都需要联网和账户,因为听懂你的那个模型在别人的硬件上。DijiFlow Dictate 正好相反:装好一次,运算就搬到了你自己的芯片上。
| 使用方式对比 | DijiFlow(本地) | 云端听写 |
|---|---|---|
| 下载一次后即可使用 | ✓ | ✗ |
| 不联网也能转录 | ✓ | ✗ |
| 无需账户 | ✓ | ✗ |
| 音频留在你的设备上 | ✓ | ✗ |
同样的本地处理方式也适用于 Windows 10 和 11:DijiFlow Dictate 在 Windows 上可以使用 AMD、Intel 和 NVIDIA 的显卡运行。NVIDIA 显卡需要 CUDA 和较新的驱动程序,但原理完全一样:语音在本地转录,你的声音和文字都不会被发送出去。
这里没有什么神秘的东西。DijiFlow Dictate 建立在开放、成熟的技术之上:“听”靠语音模型,运行靠 Apple 的机器学习框架,硬件靠 Apple Silicon。真正关键的决定,是把这一切都留在你的设备上。这样你既能享受现代听写的便利,又永远不必把自己的声音交给任何人,无论用的是免费版、试用还是 Pro。
如果比起读介绍,你更想亲身体验私密的本地听写,可以免费试用 30 天的 Pro 方案。