кто из этих трех, model, viewmodel, view должен бы показать диалог?

диалог - view :)

в конце концов, если модели нужно запросить что-то в интернете, оно берет и запрашивает. или имеет кого-то, кто для нее это сделает. здесь - имеется готовый отлаженный диалог.почему, когда мадель решила, что ей нужно выяснить, с каким файлом работать, она не может с помощью одной строчки когда его получить?

Ну ведь не просто так придумали разделение на бизнес логику и отображение. Бывает еще так, что программа должна работать в режиме без GUI и согласись, будет странно, если модель вдруг откроет окошко :D

почему это - тяжкий грех, и лучше нагородить для соблюдения канонов несколько страниц всяческого кода? чтобы было что юниттестировать?

Правила существуют чтобы их нарушать :) Никто тебя не расстреляет, если откроешь диалог из модели. Впрочем, открыть диалог и установить родителем главное окно у тебя не получится.