Ревность к бывшей жене, особенно, находящейся в пределе досягаемости мужа, естественна. Однако, у него к ней, так или иначе, есть свои претензии - измена, предательство, обиды и т.д. и т.п. Ему с ней работать тяжелее,ч ем вам его провожать. Он, полагаю, как и большинство мужчин на работе, стараются не отвлекаться на личное, занимаясь работой.
С другой стороны, подумайте вот о чем. Город у вас небольшой, сколько еще женщин из вашего города могло у него перебывать до того, как он решил остепениться? Или в перерывах между браками. Они тоже где-то неподалеку, а обид и неприятия у него к ним может и не быть. Также, есть много женщин, которые ему нравятся или понравятся в будущем.
Переживать по каждому поводу - бессмысленно. Будьте для него лучшей, единственной, а все остальное не вмешивайте в ваши отношения. В противном случае, ваша психика хоть здесь, хоть в другом городе начнет давать сбои и вы сами будете виновны в том, что ему придется начать искать разрядку на стороне.