Mon fils de 3.5 ans refuse de me regarder

Mon fils a bientôt 3.5 ans.
Depuis 1-2 mois, lorsque je veux lui expliquer une punition ou simplement quelque chose (mise en garde), il refuse de me regarder. Après une punition qui se termine en crise de rage énorme, il refuse que je lui parle (non, pas parler maman...) mais il accepte juste un câlin. Petit, je n'ai jamais pu le masser, par ex. Je suis surprise et contente qu'il accepte des caresses dans le dos ou sur la tête, et qu'il apprécie.
Je trouve important de verbaliser avec lui, de lui expliquer le pourquoi du comment...
Son comportement par rapport à moi a changé, et je n'arrive pas à trouver ce qui le bloque (car il y a blocage, certainement). Il ne réagit pas de la même façon avec mon mari.
Pour situer le contexte familial, il a une grande soeur qui a 20 mois de plus que lui, et un petit frère qui a 18 mois de moins. La place du milieu n'est pas évidente, mais on essaye d'avoir un moment qu'avec lui, pour profiter de lui. Mon mari n'a pas "aimé" sa grossesse (stress et moi relativement malade, j'ai refusé le contact au début), mais moi, j'ai été très heureuse après les nausées... Dès la naissance, il a eu des difficultés à dormir. J'ai dû le prendre contre moi durant 1 semaine. Entre 3 et 22 mois, il n'a pas passé ses nuits avec de fréquents réveils nocturnes. A 22 mois, en lui donnant plus à boire avant de le coucher, il a dormi! Actuellement, sauf en cas de maladies, les nuits se passent très bien. Niveau parole, il n'articule pas très bien encore, mais s'est beaucoup amélioré depuis quelques mois (ce qui fait qu'avant ça, il criait beaucoup). Il a été plus "nerveux" que ses frère et soeur.
je suis assez désemparée en face de cette situation, surtout de ces énormes crises de colère où il est ingérable... et je sens ce blocage, mais je ne sais pas comment faire. j'ai commencé par lui parler de tout ce que je pouvais ressentir, mais il n'y a pas grande amélioration pour l'instant.
j'aimerais trouver ce qui le bloque, car je ne profite pas beaucoup de ma relation avec lui...