Я думаю вы выбрали неподходящий вам Profile.
Выбор во что конвертировать осуществляется как-бы в две ступени - сперва вы внизу - строка Profile - выбираете для какого устройства вы конвертируете - там куча готовых наборов настроек для разных iPad, iPhone, HTC xxx и т.п. - чтоб не нужно было думать - очень удобно.
Если у вас выбран скажем профиле для iPhone - там не будет MKV потому что iPhone не поддерживает MKV.
Используйте profile General Video или HD Video - там все доступно.
Из открывшегося меню вы выбираете контейнер и способ сжатия (см. картинку), а потом еще в меню справа можно играть с разрешением и битрейтом.
Внимание - по умолчанию для General video она ставит битрейт примерно совпадающий с исходником, т.е. сжатия практически не будет. Его можно смело уменьшать - при перекодировании DVD в H264 я бы уменьшал битрейт в 2-3 раза.
Советую попробовать на паре маленьких фрагментиков по минуте-две; cам осваивал именно так.