Công nghệ đằng sau DijiFlow: nhận dạng giọng nói trên thiết bị và Apple Silicon, giải thích dễ hiểu
Apple Silicon6 phút đọc

Công nghệ đằng sau DijiFlow: nhận dạng giọng nói trên thiết bị và Apple Silicon, giải thích dễ hiểu

DijiFlow Dictate biến giọng nói của bạn thành văn bản ngay trên máy tính như thế nào, nhờ mô hình giọng nói cục bộ và Apple Silicon. Giải thích bằng ngôn ngữ dễ hiểu.

Đọc chính tả nghe như phép màu, cho đến khi bạn đặt câu hỏi hiển nhiên: giọng nói của mình thực ra đi đâu? Với DijiFlow Dictate, câu trả lời thật lòng là: chẳng đi đâu cả. Bạn nói, chữ hiện ra tại con trỏ, và không một chữ nào được gửi lên máy chủ. Không tài khoản, không tải lên âm thanh hay văn bản. Đó không phải lời hứa về quyền riêng tư được thêm vào cho có. Đó là hệ quả của cách ứng dụng được xây dựng.

Mọi thứ dựa trên ba thành phần quen thuộc: mô hình giọng nói đảm nhận việc nghe; môi trường chạy giúp mô hình hoạt động hiệu quả trên Mac; và Apple Silicon, con chip khiến mọi thứ diễn ra gần như tức thì. Bạn không cần biết trước gì cả: dưới đây là từng thành phần, giải thích thật đơn giản.

  • ~34 MB
    dung lượng ứng dụng Mac
  • 300 MB–6 GB
    mô hình giọng nói, chỉ tải một lần
  • Neural Engine
    nơi công việc thực sự diễn ra

Mô hình giọng nói: biến âm thanh thành chữ

Cốt lõi của DijiFlow Dictate là các mô hình nhận dạng giọng nói chạy ngay trên máy tính của bạn. Nói đơn giản, mô hình giọng nói là một hệ thống nhận biết quy luật cực lớn, được huấn luyện trên lượng âm thanh khổng lồ kèm bản phiên âm tương ứng. Từ dữ liệu đó, nó học cách những âm thanh con người phát ra khớp với những từ họ muốn nói, bất kể giọng vùng miền, tiếng ồn xung quanh hay những chỗ ngập ngừng tự nhiên khi nói.

Khi bạn đọc chính tả, mô hình đoán ra chuỗi từ hợp lý nhất từ âm thanh của micrô, và nó làm việc này rất tốt. Khi bạn nói rõ ràng, độ chính xác đạt khoảng 98%, và DijiFlow Dictate phiên âm 29 ngôn ngữ được hỗ trợ đầy đủ, đồng thời nhận diện 90+ ngôn ngữ khi bật Tự động phát hiện. Vì mô hình hiểu ngữ cảnh chứ không khớp từng từ một, nó xử lý tốt cách nói tự nhiên, nhiều khi lộn xộn, của con người.

Vì sao mô hình được tải riêng

Điều khiến nhiều người bất ngờ là ứng dụng và phần “trí tuệ” nằm ở hai tệp khác nhau. Trên Mac, bản thân DijiFlow Dictate khá nhẹ, chỉ khoảng 34 MB. Phần nặng là các mô hình giọng nói, dung lượng từ khoảng 300 MB đến 6 GB tùy mô hình bạn chọn. Trong bản Pro và bản dùng thử, “Lớn” chính xác nhất, “Tốc hành” gần bằng mà nhanh hơn, còn “Nhanh” nhanh nhất và hỗ trợ 16 ngôn ngữ, trong đó có tiếng Anh. Phiên bản miễn phí dùng “Tiêu chuẩn” và “Cải tiến”. Bạn tự chọn mức cân bằng giữa tốc độ và độ chính xác hợp với mình.

Bạn chỉ tải mô hình một lần, sau đó việc phiên âm hoàn toàn không cần internet. Chính bước tải một lần này là lý do giọng nói của bạn có thể ở lại trên máy.

Môi trường chạy: vận hành mô hình hiệu quả

Mô hình giọng nói chỉ hữu ích khi chạy nhanh mà không làm cạn pin. Đó là việc của môi trường chạy, lớp phần mềm vận hành các mô hình học máy ngay trên thiết bị. Hãy hình dung nó vừa là người phiên dịch vừa là người điều phối: nó nhận mô hình giọng nói và tìm cách chạy mô hình bằng những bộ phận phù hợp nhất trên phần cứng của bạn.

Trên Mac, các mô hình giọng nói của DijiFlow Dictate được biên dịch cho khung học máy riêng của Apple, vốn là một phần của macOS. Nhờ vậy, mô hình được tối ưu riêng cho phần cứng Apple thay vì chạy như mã chung chung, chậm hơn, nên đọc chính tả theo kịp lời nói tự nhiên mà vẫn nhẹ nhàng với tài nguyên hệ thống. Và tất cả diễn ra ngay trên máy: khung này không phải dịch vụ đám mây, mà là một phần của hệ điều hành, cho phép ứng dụng chạy các mô hình học máy một cách riêng tư ngay trên thiết bị.

Apple Silicon: con chip làm nên tốc độ tức thì

Thành phần cuối cùng là phần cứng. Trên các máy Mac hiện đại, đó là Apple Silicon (các chip dòng M) trên những máy chạy macOS 14 trở lên. Các chip này có một bộ phận chuyên dụng là Neural Engine, được thiết kế riêng để chạy mô hình học máy thật nhanh mà tốn rất ít điện, và khi cần thêm sức mạnh thì có GPU hỗ trợ qua Metal.

Bạn không phải thiết lập gì trong số này. Khung học máy tự phân chia công việc cho đúng phần cứng: bạn chỉ việc nói, còn con chip xử lý theo thời gian thực. Đó là lợi thế thầm lặng của thiết kế trên thiết bị: chính con chip giúp chiếc Mac của bạn phản hồi nhanh cũng là thứ khiến đọc chính tả riêng tư trở nên thiết thực.

Toàn bộ quy trình, từ đầu đến cuối

Xếp ba thành phần theo thứ tự, bạn sẽ thấy hành trình rất ngắn và diễn ra hoàn toàn trên máy.

  1. Bạn nói

    Âm thanh từ micrô được thu ngay trên thiết bị, không bao giờ được truyền đi đâu.

  2. Mô hình giọng nói chạy trên Neural Engine

    Mô hình biến âm thanh thành chữ ngay trên Apple Silicon, theo thời gian thực.

  3. Chữ hiện ra tại con trỏ

    Lời bạn nói hiện trong ứng dụng bạn đang dùng. Chúng không bị gửi đi đâu, nên không có gì để rò rỉ.

Điểm mấu chốt

Mô hình nằm trên máy của bạn, nên phiên âm chỉ là một phép tính diễn ra ngay trên máy. Không có máy chủ nào để lưu trữ, chặn bắt hay âm thầm giữ lại giọng nói của bạn.

Tải một lần, rồi phiên âm ngay trên thiết bị

Phần lớn công cụ giọng nói thực chất là dịch vụ đám mây khoác biểu tượng ứng dụng: lần nào chúng cũng cần kết nối và tài khoản, vì mô hình hiểu bạn nằm trên phần cứng của người khác. DijiFlow Dictate làm ngược lại: bạn cài đặt một lần, và công việc chuyển về con chip của bạn.

Cách hoạt động DijiFlow (trên thiết bị) Đọc chính tả đám mây
Dùng được sau một lần tải ✓ ✗
Phiên âm không cần internet ✓ ✗
Không cần tài khoản ✓ ✗
Âm thanh ở lại trên thiết bị của bạn ✓ ✗

Không chỉ trên Mac

Cách làm trên thiết bị này cũng có trên Windows 10 và 11, nơi DijiFlow Dictate chạy trên GPU của AMD, Intel và NVIDIA. Card NVIDIA cần CUDA và trình điều khiển mới, nhưng nguyên tắc vẫn vậy: giọng nói của bạn được phiên âm ngay trên máy, giọng nói và văn bản không bị gửi đi.

Không có phép màu, chỉ là kỹ thuật tốt

Ở đây không có gì bí hiểm. DijiFlow Dictate được xây dựng trên những công nghệ mở, đã được hiểu rõ: mô hình giọng nói để nghe, khung học máy của Apple làm môi trường chạy, và Apple Silicon làm phần cứng. Điều quan trọng là giữ toàn bộ những thứ đó trên thiết bị của bạn, để bạn có sự tiện lợi của đọc chính tả hiện đại mà không bao giờ phải giao giọng nói cho ai, dù ở phiên bản miễn phí, bản dùng thử hay Pro.

Nếu bạn muốn tự trải nghiệm thay vì chỉ đọc, hãy dùng thử đọc chính tả riêng tư trên thiết bị miễn phí trong 30 ngày với gói Pro.

DijiFlow DictateDijiFlow Dictate

Đội ngũ DijiFlow Dictate

Ghi chú về dịch giọng nói ngay trên thiết bị, riêng tư, và cách làm được nhiều việc hơn bằng giọng nói của bạn.