岩石主要由太古代、元古代的片麻岩、大理岩、石英岩和古生代、中生代的砂页岩、砾岩所组成。大青山南北坡明显不对称，北坡平缓， 剥蚀残余的低山丘陵和盆地交错分布，逐渐与内蒙古高原连在一起；南坡陡峭，为明显的构造断块地形，断层崖被侵蚀切割，形成一系列断裂三角面，形势险峻。山麓分布有侵蚀残余的低山和众多的山沟，雨后洪流破山而出，造成复式带状洪积扇裙。山沟为流水侵蚀成为宽谷后，往往形成前山与后山的交通孔道。山上和山后气温较低，年均温0～4℃，山峰与山麓相差4℃左右，无霜期较短，山上和山后约为100天，比山前生长季约短1个月。以呼和浩特和武川相比，两地直线距离仅40公里，年降水量相差76毫米。山脉的屏障作用甚为明显。大青山森林覆盖率为11.5％。阴坡海拔1100米左右为干草原；1200 米以上出现灌丛及稀疏杜松林；1300～1500米有油松、 侧柏、杜松混交林；1500～2000米有油松、山杨、辽东栎混交林和云杉、白桦、山杨混交林及油松和云杉纯林。阳坡1500米以下为干草原，1800米以上为山地草甸草原。土壤为山地栗钙土─山地典型棕褐土─山地淋溶褐土─山地草甸草原土。北麓山间盆地和滩川地的水土条件较 好，耕地扩展很快，上限已达海拔1850米。山前丘陵和洪积扇地带为半农半牧区。