Передел участка после покупки дома

Добрый час, форумчане!
Купили почти пять лет назад дом. Приусадебный (по-моему, так называется) участок, точнее-граница со смежным соседом была с обоюдного согласия первоначальных, а также актуальных на момент сделки владельцев немного переделана: в одном месте метр на два соседский участок врезается к нам, компенсируя это наш участок точно так же врезается в другом месте на территорию соседа. Два года спустя сосед продает свой дом- новый сосед. Еще два года спустя новый сосед решает поменять забор и желает восстановить первоначальную нарезку, те границы. Нас это не устраивает, поскольку придется удалять некоторые постройки и тд.
Вопрос, собственно, напрашивается сам: как быть и кто прав, и далее-кому на кого "наезжать"? Владельцы, переделавшие границу сьехали, "на бумагах" документально об изменении, естественно, ничего нет. Наша позиция- мы купили участок каким он был, вы (сосед) купили точно так же. Все видели, что покупали. Подскажите как правильно не "наломать дров".
Спасибо им фораус :)