是的，福州省内不同城市就医需要进行异地备案。目前绝大部分省份都是市级统筹，因此跨市就医属于异地就医，需要进行备案。异地就医备案可以通过线上渠道进行，如国家异地就医备案小程序、国家医保服务平台网站等。如果当地还未开通线上医保就医备案，也可以携带相关资料前往当地社保中心办理。只有进行了医保异地备案的人员，在异地就诊时才能获得基本医保的报销。

请注意，具体的备案流程和要求可能会因地区和医保政策的不同而有所差异。在就医前，建议您提前了解并遵循相关的规定和流程，以确保您的就医过程顺利进行。