据说修寺中资金发生困难，眼看就要半途而废，施工主人们想再出远方化布施。晨起，在院中发现两骆驼，背负重囊，朝东而卧。邑人们认为是行脚驼峰，驼主会来赶走。迟至日中，未见驼主，始派人到处寻找，夜幕降临，未见赶走，于是有人解囊启袋，发现满是白银，约有九千余两。得此银后加快了进度，增建了殿堂。竣工后为寺命名时，人们以为如无西来之资，此寺难以完工，今能完工实乃西主资助之力。故定名“西来寺”。另一传说曰，有人在河边拾得一铜佛，为之建寺，特名为“西来寺”。

　　西来寺占地面积 2184平方米。寺院规模宏大，古朴典雅，是青海境内保存完好的古寺中典型的汉语系佛寺。寺内主要建筑建在坐北朝南的中轴线上，由山门、中殿、大殿和东西两厢堂馆组成两进院落，庭院内绿树成荫，陪衬着佛殿走廊朱红色檐柱和石绿色斗拱。山门宽3间，进深1架，中为门廊，东西为泥塑四大金刚。进入山门为前院，面对山门为中殿，东西两厢为堂馆，殿、堂均为硬山式建筑，中殿主供阿弥陀佛。大殿面宽5间，进深3架，单檐歇山顶，矗立在台基上，大殿内供三世佛，中间释迦牟尼，两边为文殊、弥勒，还有阿难、迦叶、弟子、比丘等。东西两面山墙供菩萨四尊。整个墙面以半立体式浮雕着山水、人物、建筑、树木、珍禽、异兽等。该寺保存完好，西来寺现为乐都县历史文物博物馆，陈列乐都地区收藏和出土的珍贵文物以及原寺院遗存的24幅明代卷轴佛像画。