A kis fakopáncs számára az idős állományú, őshonos lombos fákból, sok álló holtfával bíró erdő az ideális. Az erdőgazdálkodásnak betudhatóan az öregerdők aránya csökkenőben van. A faj az intenzív művelés alá vont, de természetközeli erdőket is benépesíti. A kis fakopáncsok az elpusztult vagy pusztuló, de még álló fatörzsekben és száraz ágakban gazdag erdőket kedvelik. Ezekben a holtfák háromféle szerepet is betöltenek. A száraz, vékony ágakon keresik a táplálékukat, itt választanak dobolóhelyet és ide vésik kisméretű odvaikat is.