Vous avez raison, bien sûr.
Mais il est clair que dans la pratique on répondra plus facilement de façon inappropriée "moi non plus" que "moi aussi".