Здравстввуйте. При таких обстоятельствах вам лучше с бывшим супругом определить порядок воспитания детей и общения с ними другого супруга (график). В том случае, если он будет совершать какие-либо противозаконные действия в отношении Вас (особенно "распускание рук") - не тяните, обращайтесь в полицию с заявлением. Кроме того, Вы не имеете права отказаться от алиментов, поскольку это целевые платежи на содержание общих детей. Идите к приставу, пусть он принимает меры в отношении Вашего бывшего супруга по взысканию алиментов.