非法抽沙的管理部门主要是 河道管理部门和 公安机关，具体职责如下：
负责对河道内非法采砂行为进行监管和处罚。
根据《中华人民共和国河道管理条例》和《中华人民共和国航道法》，河道管理部门有权责令停止违法行为、没收违法所得、扣押或没收非法采砂船舶，并处以罚款等处罚措施。
对于非法采砂构成犯罪的情况，由公安机关依法惩治。
根据《刑法》第三百四十三条，非法采砂行为可构成非法采矿罪，公安机关将依法追究行为人的刑事责任，包括有期徒刑、拘役、管制及罚金等。
同时，建议积极向相关部门举报非法采砂行为，以维护河道管理秩序和公共安全。