还有党委党组都设的呢。

比如市财政局设置的是党组，财政局党组只领导本单位。
而市公安局、市税务局设置的是党组性质的党委，他们还可以领导下属单位（县公安局或县税务局）。

首先看党员人数和单位级别综合考虑。一般情况下，党员人数超过100名成立基层党委；超过50名、不足100名成立党总支；正式党员超过3名、不足50名的成立党支部。人数是原则性规定，因工作需要，经上级党组织批准。
党委和党组设立的原因：
党委：一般情况下，党员人数超过100名的基层单位，经上级党组织批准，可成立党的基层委员会。有的基层单位党员人数虽然不足100名，但因特殊情况和工作需要，经上级党组织批准，也可以成立党的基层委员会。
党组：党组不是一级党组织，而是党在国家机关、人民团体、经济文化组织和其他非党组织的领导机关中设立的派出性机构，在上述组织中发挥着领导核心作用。党组的成员，由批准成立党组的党组织决定。党组必须服从批准它成立的党组织领导。
中央和地方国家机关、人民团体、经济组织、文化组织、社会组织和其他组织领导机关中，有党员领导成员3人以上的，经批准可以设立党组。
党组的设立一般应当由党的中央委员会或者本级党的地方委员会审批。党组成员一般设3至7人，省部级以上单位、中管国有重要骨干企业和中管金融企业党组成员一般不超过9人。
以上原因就是为什么有的单位设立“党委”，而有的单位却设立“党组”，因人数不同，单位性质不同，所以才会分设“党委”和“党组”。

建议查阅《中国共产党党组工作条例（试行）》 ，对党组的设立有明确的规定，需要注意的是，公安、应急、税务等单位的党委是党组性质党委。

你的表述过于简单，具体情况不明，难以准确解答。

       主要是看这个直属单位的上级是什么性质。党组是党在中央和地方国家机关、人民团体、经济组织、文化组织、社会组织和其他组织领导机关中设立的领导机构。