Вытащить видеопоток из mkv в обычный avi можно так

# mencoder ~/foo.mkv -nosound -ovc copy -of avi -o ~/foo.avi

если mencoder откажется вытаскивать видеопоток, то его можно вытащить mkvextract с параметром --raw (иначе, если извлекаемый поток в формате VC1, mkvmerge поместит вытащенный видеопоток не в элементарный VC1-видеопоток, а в AVI, который не будет воспроизводиться)

# mkvextract tracks ~/foo.mkv --raw 1:~/foo.vc1 && mencoder ~/foo.vc1 -nosound -ovc copy -of avi -o ~/foo.avi

теперь mkvmerge правильно подхватит VC1 поток из этого avi.

Примечание - программы mkvextract и mkvmerge обычно располагаются в пакете mkvtoolnix.