Яга - сложный собирательный образ. Есть Яга - дарительница (дарит, например, герою коня), Яга - похитительница (похищает и пытается изжарить детей, Яга-воительница (прилетает к героям в избушку и вырезает из спины ремень). Но самое главное и общее, что ее харектеризует, - это связь с потусторонним миром.
Связь происходит по определенному ритуалу. Сначала "Фу, фу, фу, русским духом пахнет!" Русский - читай человечий. Запах живых для мертвых также отвратителен, как и запах мертвых для живых. Затем "Зачем пожаловал?" А в ответ "Ты бы сначала накормила-напоила, а потом вопросы задавала!" Нет, ну каков нахал,а? Яге послать бы его подальше, ан нет, сразу с аргументом согласилась. А почему? А потому что не нужно преписывать моральное поведение героям там, где его нет, а есть чистый обряд. Чтобы можно было путешествовать в мире мертвых, нужно было пищу мертвых попробовать. Кроме того, именно прием пищи "отверзал уста". Без него просто невозможно общение мертвого и живого.
Про Кощея не скажу, а вот про Змея Горыныча могу. Змей Горыныч в историческом плане пацан по сравнению с Бабой Ягой. Если происхождение Бабы Яги можно указать почти сразу, то в родословной Змея Горыныча придется покопаться. Парадокс, да? Это потому, что образ Бабы Яги как возник с времен родового строя, так почти и не изменился. А вот образ Змея Горыныча, как, впрочем, и прочих змеев, возник гораздо позже, когда люди стали жить в городах. Предшественником у него была Чудо-Юдо Рыба Кит.
У тех народов, которые жили у моря, был обряд съедения и отрыгивания героя, после чего тот приобретал магическую силу. У тех, которые жили в лесах такую роль выполняли другие животные - волк, например. Сказку постепенно переиначили. Сначала герой, чтобы вырваться, начинал делать всякие пакости у животного в животе, хотя первоначально должен был там сидеть, приобретать мудрость, не рыпаться и ждать отрыгивания. Затем он и после отрыгивания начинал делать зверю пакости уже снаружи. Ну и, в конце концов, те пакости, которые он делал снаружи стали более важными, чем те, которые он делал внутри. Пришел - был съеден - выбрался - убил обидчика, хотя должен был с самого начала благодарить за то, что был сожран. А все проклятая мораль, которую обязательно нужно было впереть в сказку, хоть она туда никаким боком не лезет!
Змей был генетически исковеркан нашими предками из двух нормальных животных - змея и птицы - и сразу перенял функцию пожирания у своих предшественников (см. выше). Змей представлял собой душу умершего, а душа приобретала или вид птицы или вид змеи. А души умерших иногда похищали живых, как для еды (сначала), так и для половых утех (попозже). Наши предки верили, что при переселении в иной мир два инсктинкта особенно сильны - это чуство голода и половой инкстинкт.
Такова в очень грубых чертах родословная Змея Горыныча.
Но вообще-то эту мудрость Вы можете и сами почерпнуть из кладезя: В.Я. Пропп "Исторические корни волшебной сказки" , Издательство Ленинградского университета, 1986 г.