如果你推回去的动作是出于自卫或者是为了保护自己的权益而进行的，则不能算作互殴。但是如果你的推搡是出于报复或者是出于攻击的目的，则可以看作是双方都参与了互殴行为。最重要的是，任何形式的暴力行为都应该避免，应该通过理性沟通和解决问题。