A正确，《环境噪声污染防治法》规定，产生环境噪声污染的企业事业单位，必须保持防治环境噪声污染的设施的正常使用；拆除或者闲置环境噪声污染防治设施的，必须事先报经所在地的县级以上地方人民政府环境保护行政主管部门批准。

B错误，D正确。产生环境噪声污染的单位，应当采取措施进行治理，并按照国家规定缴纳超标准排污费。征收的超标准排污费必须用于污染的防治，不得挪作他用。

C正确，对于在噪声敏感建筑物集中区域内造成严重环境噪声污染的企业事业单位，限期治理。被限期治理的单位必须按期完成治理任务。

E错误，限期治理由县级以上人民政府环境保护行政主管部门按照国务院规定的权限决定。而非省级以上人民政府环保行政部门。