Я вас понимаю, мне бы это тоже не понравилось. Но стандарты у всех разные, и видимо, ваш стандарт в воспитании от ваших свекров сильно отличается.
Вы правы, что общаться давать им все равно надо. Когда папа приезжает- тут всё проще. Но и те бабушка с дедушкой тоже должны быть. Но может как-то упорядочить вам их общение, но не запретами и разборками, а ненавязчиво: "вот, я вам как раз всем билеты купила (зоопарк, дет. театр, развлекаловки-музеи, леголанд итд." Или пойти вам всем вместе на праздник (типа миттельальтер-фест или что у вас там бывает) или в парк какой-то особенный с площадкой, минигольфом итд., т.е. я бы пыталась избегать ситуаций, когда за еще маленькими детьми в их доме недостаточно хорошо следят, но общение в принципе поддерживалось бы. Конечно это гораздо напряжнее вам, чем просто отпустить детей к папе и баб.-деду. Но если вам на душе не спокойно и младший себя там не чувствует в безопасности, то просто пускаать детей к ним - это не вариант, увы. А через года 2-3 (время летит быстро) дети станут самостоятельнее и острота проблемы смягчится.
Конечно вы можете им (максимально спокойно!) сказать, что вы не разрешаете, чтобы дети выходили из дома без взрослых и попросить так же не разрешать того в доме бабушки-дедушки, чтобы не менять линию воспитания. Но другое дело, доверяете ли вы им, что они и правда этого придерживаться будут, да и вообще за детьми в доме следят (и в доме много чего опасного может быть: кухня, медикаменты, инструменты, но это вам лучше знать, домысливать не буду.)