Notre père est parti, conséquences

Voilà, pour résumer, mes parent étaient mariés, ont eu 3 enfants dont moi en dernier.
Et voilà que pour mes 3 ans mon père s'en va avec une collègue (mon père était un "coureur").
Au début il a fait quelques passages (peut-être par culpabilité ?) puis plus rien à part de fausses promesses par téléphone.
Ca été dur pour nous ce père absent et j'ai envie de dire "immature".  Notre frère ainé a assez vite "passé l'éponge"; le second frère a été très affecté par départ (ils avaient 7 et 8 ans quand il est parti).
Moi, comme j'étais très jeune, j'ai pas vraiment compris.  Ma mère a eu quelques aventures mais, mis à part celui qui "remplacé" mon père, aucun ne m'a vraiment apporté quelque chose.
J'ai grandi avec un réel manque dans ma vie, un repère et de l'autre côté ma mère qui me surprotégeait (ce qui a entrainé plus tard des conflits, une fuite de ma part ...bref un gros abcès qu'on a percé grâce à une thérapeute).
L'ainé a cherché assez vite des relations stables.  Par contre le second ça été très mouvementé (sur fond de liaisons cachées de temps à autres).
Moi j'ai toujours été très timide et j'ai un gros problème pour m'affirmer en public même si je fais partie de sociétés ou groupes divers.
Mes relations avec les filles ont souvent souffert de ce problème de timidité et d'affirmation.
Aujourd'hui l'ainé à une copine "ferme" (mais a des petites liaisons furtives) et un garçon.  Le second a eu une fille mais rupture sur rupture mais en continuant une vie à 100 à l'heure.  Puis quand il a pensé avoir trouver la bonne, il est mort dans un accident de moto...
Moi je suis tombé sur une "dragonne" qui m'a presque coupé de tout (amis, activités etc) durant 4 ans.  Je me suis enfuit sans regrèts.  Puis au bout d'une année de "décompression" j'ai trouvé ma future femme (plus agée que moi).
Elle a dù me forcer la main pour qu'on se marie et idem pour avoir des enfants.

JE ne savais pas trop la réaction a avoir par rapport à mon père durant très longtemps du fait, je pense qu'il avait été absent de ma vie.  A l'heure actuelle j'ai beaucoup de rancoeur à son propos car lorsque je l'ai invité pour mon mariage, il pensait que j'était venu lui demander de l'argent ce qui était faut).  Ca m'a mit en rage et je lui en veut enormément.  IL n'a même pas pris de nouvelles lors de la naissance de mes enfants.

Je dois faire quoi par rapport à lui ?  Lui pardonner ?
QU'est ce que vous pensez de son départ dans nos vies ?