Надо воспользоваться фильтром unsharp.

unsharp[=l|cWxH:amount[:l|cWxH:amount]] - нерезкая маска / гауссово размывание

• l - Применить эффект к яркостной компоненте.
• c - Применить эффект к цветностной компоненте.
• <width>x<height> - ширина и высота матрицы, нечетного размера в обоих направлениях. (мин = 3x3, макс = 13x11 или 11x13, обычно что−то между 3x3 и 7x7)
• amount - Относительная величина резкости/ размывания добавляемого изображению (разумный диапазон будет −1.5−1.5). <0: размывание, >0: резкость.

Пример

mplayer -vf unsharp=l3x3:1.5 file.avi

Можно добавить фильтр постобработки

mplayer -vf unsharp=l3x3:1.5,pp=5 file.avi

или на слабых компьютерах (Celeron 1.7) можно указать упрощенные фильры сглаживания квадратов

mplayer -vf unsharp=l3x3:2,pp=h1:a/v1:a file.avi

для фильтра постобработки pp можно указывать сокращенные комбинации фильтров

• de - лучшая постобработка для сглаживания квадратов кодирования
• fa - быстрая постобработка для сглаживания квадратов кодирования