Нужна программа avs2yuv.

avs2yuv - to pipe avisynth scripts to ffmpeg2theora, still CLI though.

Команда

wine avs2yuv.exe video.avs -o - | ./theora -f yuv4mpegpipe --aspect 16:9 -v 7 --optimize -S 0 --inputfps 23.976 - -o out.ogg

Еще пример

wine avs2yuv.exe foo.avs - | mencoder - -o foo.avi -ovc lavc -lavcopts mbd=2:trell:v4mv:vqscale=2