fantasmer une relation

bonjour , j'ai été infidèle à mon mari avec un ami d'enfance, cette relation a eu ses hauts et ses bas et a duré quelques années, seulement j'ai toujours mal vécu cette infidélité car j'avais de l'amour pour cette personne et je ne savais plus trop où j'allais , cet ami célibataire m'a dit qu'il avait fantasmé notre relation et comme il  voyait que ça me faisait du mal il préférait arrêter l'intimité et rester ami , cela m'a fait l'effet d'un coup de poignard de savoir que je n'avais été qu'un fantasme pour lui qu'entends il par fantasmer une relation ? j'ai refusé de rester son amie et j'ai définitivement arrêter cette relation, aujourd'hui j'ai du mal à faire le deuil de cet homme car j'ai l'impression d'avoir été "trahi" ce qui est paradoxal vu que j'ai trompé moi même mon mari. cet ami n'a jamais été dans la communication sincère et a toujours laissé flotter cette ambiguïté entre nous, je lui en veux terriblement et je n'arrive pas à lui pardonner pour l'oublier, merci de m'aider