Avec lui par amour ou par dépit?

Bonjour,
J'ai une relation avec un homme depuis 3 ans. J'ai 37 ans et lui 42. Nous sommes tous les 2 célibataires avec chacun 1 enfant dont nous avons la garde. Nous nous voyons 1 fois par semaine et nous échangeons de nombreux sms. Il a toujours été clair avec moi, il ne veut pas que nous soyons un couple. Nous sommes amants + +. Il me respecte et me soutient dans les périodes un peu difficiles mais reste toujours à distance.
Personne ne le connait dans mon entourage et je ne connais aucun de ses amis non plus.
Il est tout ce que j'aime chez un homme et je lui dis très souvent que je veux plus qu'une relation basée sur le sexe mais à chaque fois il me dit que lui ne veut rien d'autre.
Je sais que cette relation est médiocre et que je mérite bien mieux mais je n'arrive pas à le quitter. Je me dis que pour l'instant c'est mieux que rien et qu'en attendant de rencontrer quelqu'un d'autre, je peux me contenter de nos échanges.
Mais je sais que je ne regarde absolument pas les autres hommes. Un ancien collègue de boulot a essayé de m'approcher, nous sommes allés boire un verre mais j'ai eu l'impression de tromper mon amant. Je n'arrive pas à répondre lorsqu'on me demande si je suis amoureuse de lui
Je suis un peu perdue et j'aimerais bien un conseil...