财政部门代表国家对各单位和单位中相关人员的会计行为实施的监督检查，以及对发现的违法会计行为实施行政处罚。这里所说的财政部门，是指国务院财政部门（选项A符合题意）、省级以上人民政府财政部门（选项B符合题意）和县级以上人民政府财政部门（选项C符合题意）。

选项D不符合题意。