Whisper.cpp

Проект на основе llama.cpp и специальной модели от OpenAI. Качество распознавания - среднее. Разпознавание нестабильное, иногда на одном и том же голосе одну фразу распознает хорошо, другую - непонятно как.

Официальный сайт: https://github.com/ggml-org/whisper.cpp

Parakeet

Parakeet — это не просто одна нейросеть, а конвейер из нескольких компонентов, которые работают вместе.

• Сначала модель Silero VAD определяет, где в аудиопотоке есть речь, а где тишина или шум. Это позволяет не тратить ресурсы на обработку пустых участков
• Извлечение признаков: Аудио преобразуется в спектрограмму, которая затем подаётся на вход нейросети
• Акустическое моделирование (FastConformer): "Сердце" системы — энкодер FastConformer — анализирует спектрограмму и выделяет акустические признаки
• Декодирование (TDT/RNNT/CTC): Декодер превращает эти признаки в последовательность текстовых токенов
• Постобработка: Дополнительные модели добавляют пунктуацию и заглавные буквы, а также выполняют обратную нормализацию текста (Inverse Text Normalization, ITN), превращая "двадцать пятое" в "25-е"
• Диаризация (опционально): Модель Sortformer может определить, кто именно говорил в записи с несколькими спикерами.

Модель отлично оптимизирована для работы на центральном процессоре (CPU), и существует несколько готовых инструментов, которые позволяют запустить её на обычном компьютере. Самый простой и надёжный путь — использовать ONNX Runtime и готовые конвертированные модели Parakeet. Данный путь не требует установки тяжёлого фреймворка NVIDIA NeMo и работает на любом процессоре.

К Parakeet можно удобно обращаться из Python, (модуль parakeet_stream) что позволяет легко создавать собственные приложения.

Для работы на CPU потребуется около 2-4 ГБ оперативной памяти. Модель занимает 2.5 Гб, а квантизированная на INT8 - около 800 Мб.

GigaAM

Еще рекомендуют GigaAM-v3-e2e-rnnt. По сравнению с Виспером - небо и земля: практически мгновенное распознавание и минимум ошибок. Не трудно навайбкодить сервис со стандартным API и приложение для иксов, которое вставляет распознанный текст в активное окно. Отлично работает.

Адрес проекта: https://huggingface.co/ai-sage/GigaAM-v3