А не надо его бороть.
Начинайте ему потворствовать.
Если возникает страх, что вы можете опоздать, выходите и выезжайте заранее.
Если предварительно есть возможность опоздать - назначайте встречи с запасом времени.
Человек, которые все расписывает по минутам ВСЕГДА опаздывает и, естественно, производит отрицательное впечатление.
Если ваш парень, ваши друзья, ваши родственники, относительно спокойно смирится с вашим опозданием (даже если вы не успеете на теплоходный круиз, на последнюю электричку или к умирающему родственнику) и просто перестанут вас звать или ждать, то работодатель не только уволит на очередное опоздание, но и напишет соответствующую характеристику.
Но если вы не дорожите работой, учебой, доверием близких, то волноваться, действительно, не о чем. Не волнуйтесь и все, пусть их...