根据《中国共产党党和国家机关基层组织工作条例》等相关党内法规，一般来说，党员人数100人以上的单位设立党的基层委员会（即党委）。然而，这些法规也规定了特殊情况下，如工作需要，党员不足100人的单位经上级党组织批准后，也可以设立党委。因此，党员人数下降到不足百人，并不意味着必须立即取消党委建制。如果党委在单位的领导核心作用依然重要，且工作需要党委来协调和推动，即使党员人数不足百人，也可以向上级党组织申请继续保持党委建制。