Датасет же ин-мемори коллеция данных, а не на диске.

Именно так.

Т.е. к нему нужно иметь внешнее хранилище так и так.

Храни как хочешь. Хоть в XML :)

И ещё нужна отдельная прога для поддержки датасетов и редактирования через них данных - чтобы хотя бы грид с возможностью редактирования показала.

Зачем? :) Если в ТЗ такого нет, то не нужна. А если в ТЗ есть, то ты и со своими классами должен эту прожку написать.

И датасет это не один файл, а кучка (минимум 4, вроде, на которые разваливается .xsd), описывающих один датасет.

WriteXML создает одни XML файл. А ReadXML (внезапно) этот XML читает и воссоздает DataSet.

Тогда зачем мне вся эта инфраструктура датасетов

Если тебе нужна лайт BD, то DataSet оптимальное решение. А еще DataSet можно подружить с твоим любимым EF и вообще кайф :D

редактировать быстро извне в простой сторонней программе типа Блокнота нельзя?

Ну конечно можно. XML вполне себе поддается редактированию блокнотом :) А еще можно там искать данные при помощи XPath и менять только то, что надо :D :D :D