Дети не являются собственностью отца. В случае споров родителей вопрос о месте проживания детей решают компетентные ведомства. Обычно детей оставляют проживать с матерью, если нет противопоказаний. Я полагаю, Вам нечего опасаться.
Ответы носят информационный характер и не имеют юридической силы.