李世賢（1834～1865年），廣西藤縣人，是太平天國後期重要的將領，是忠王李秀成的堂弟，1860年封為侍王。1861年他由安徽、江西進軍浙江，攻克金華後，在原試院和千戶所的舊址上興建侍王府。試院原來是唐宋的州治所在地，元代是浙東道宣慰司署，明初曾為朱元璋駐地，清代改為試院。1963年在此建立太平天國侍王府紀念館，後又經多次維修

　　侍王府規模宏大，分為宮殿、住宅、園林三部分，總面積約2.4萬平方米，建築面積3000多平方米，主體建築是大殿（議事廳）、二堂和後堂（又稱耐寒軒）。侍王府分東、西兩院。

　　東院現存的建築有照壁、正廳、後廳、耐寒軒等。照壁高約6米，面寬17米，上面有許多石雕或磚雕的龍鳳圖案。照壁為太平軍所建，其餘的建築是利用了試院的建築改建而成的，都是硬山頂、磚木結構的衙署式建築。正廳又稱“議事廳”，面闊5間，是當時李世賢舉行重要軍事會議的場所。

　　西院為侍王府住宅，共有四進：進入門廳後，有長廊與前廳相連，前廳為李世賢理事處，兩旁為花園；二進建築的中廳在所有的建築中最為精美講究，為侍王的辦公地點；三進建築為侍王住房；四進為一幢樓房，是侍王部屬和衛士的住所。西院的一、二進建築有大量的壁畫、梁枋彩繪以及木、石、磚雕等，二進的中廳有“兵營圖”、“四季捕魚圖”、“砍柴圖”等壁畫，表現了有關太平天國制度、戰爭以及民間傳統的漁、樵、耕、讀等內容。