全寺建築鱗次櫛比，雄偉壯觀。法定增人5500名，最多時近萬名。寺內主要建築有措欽大殿，麥扎倉、吉扎倉、阿巴扎倉及康村等。寺院建築雄偉，屋宇毗連，重樓疊閣。措欽大殿的面積達1000多平方米，共四層，是全寺最雄偉的建築，也是全寺的活動中心。寺的殿堂內繪滿了色彩繽紛的壁畫；各類佛像、唐卡、法器、供器、經幡、經幢比比皆是；此外，還珍藏著明朝中央賜給的經典、佛像、法器等珍貴文物。這對於研究西藏的歷史、建築、藝術及漢藏關係，都具有重要的價值。

　　措欽大殿內建有4個拉康。拉康即佛殿，是供奉佛像(佛)、經書、經法、並為僧侶集合作法事的場所。佛教將「佛、法、僧」稱之為「三寶」，只有具備這「三寶」的地方才稱得上「拉康」。這四個拉康為「乃堆拉康」(主供羅漢)、甲央拉康(主供文殊)、宗喀拉康(主供宗喀巴)、土其拉康(主供十一面千手觀音)。

　　措欽下面的組織叫「扎倉」，色拉寺有3個扎倉：麥扎倉、吉扎倉、阿巴扎倉。扎倉，意譯為僧院，它是一個完整獨立的組織。由於黃教修習必須先顯後密，因此，色拉寺的扎倉就有顯宗扎倉與密宗扎倉之分。麥扎倉和吉扎屬顯宗，阿巴扎倉屬密宗。現將這三個扎寺分別介紹如下：

　　麥扎倉，為色拉寺的最早建築，始建於明成祖永樂十七年(1419年)，為該寺創建人釋也失所建。據說原來的殿堂毀於雷擊，後來清乾隆二十六年(1761年)由貢欽.強曲彭巴進行了重建，麥扎倉面積為896平方米，主體建築為4層，殿內建築和壁畫都完好無缺。此扎倉內共有五個拉康：即軸康(主供奉釋迦牟尼)、貢康、乃堆拉康、宗喀拉康和托巴拉康。

　　吉扎倉：始建於明宣德十年(1435年)，由貢欽.洛珠僧蓋創建。至十七世紀中葉，固始汗進行了擴建，吉扎倉共為5層，面積977平方米，主殿內有甘丹池巴及熱振活佛等靈塔共11座。此扎倉內有：堆松、旦增、列瑪、宗喀、甲央、土其、崗叔康共7個拉康。

　　阿巴扎倉，始建於明嘉靖三十八年(1559年)，後進行擴建。它是色拉寺中最小的一個扎倉，共4層，大經堂內主供奉色拉創始人釋迦也失像。此扎倉內共有4個拉康：唯巴拉康、乃堆拉康、傑吉拉康、昌巴拉康。

　　在扎倉下設康村。色拉寺過去有康村32個。康村是寺廟的基層組織，是僧侶們食宿和起居休息的地方。康村有大有小，人員幾十至上百不等。康村的建築大多為院落式，3層至5層，包括經堂、住宅、茶房。康村又是一種帶有地域性的組織，來自同一地區或有關的若干地區的喇嘛，都被併入一個康村。如色拉寺的白迪康村，就是由達拉克、門巴族、珞巴族僧侶組成的。