В современных дистрибутивах, для лучшей работы со звуком можно сделать следующие настройки.

Нужно в /etc/security/limits.conf перед концом файла добавить:

@audio - rtprio 90

@audio - nice -19

@audio - memlock unlimited

что даст повышенный приоритет обработке аудио-устройств.

Если этих настроек недостаточно, нужно ставить RT (real time) ядро.