如果在去香港的时候忘记签证，应该尽快前往所在国或地区的香港特别行政区政府代表处或领事馆申请签证。如果没有代表处或领事馆，可以咨询当地的旅行社或航空公司。但需要注意的是，在申请过程中可能需要提供证明材料、填写申请表和缴纳一定的费用，这需要足够的时间和精力准备。同时也需要了解香港特别行政区的签证要求和政策，以避免因错误申请而导致烦恼和经济损失。