Тоже пользуюсь mencoder с кодеком lavc.

Кодеку передаю следующие параметры:

mpeg4:mbd=2:trell:cbp:mv0:vbitrate=1748:v4mv:vqmin=2:vqmax=9:mpeg_quant:vlelim=-3:vcelim=5:lumi_mask=0.02:dark_mask=0.06:p_mask=0.05:autoaspect:threads=auto:psnr

менкодеру:

filmdint=crop=720:352:0:64,hqdn3d=4:3:5