清凉寺位于台怀镇西南上瓦厂村东北的清凉谷中。寺内因有著名的文殊圣迹“清凉石”而得名。寺庙坐东朝西,按中国传统的中轴对称格局布置,中轴线上有五层大殿,禅堂、配殿左右对称,布局严谨,主次分明。
据《清凉山志》载,此寺肇于北魏孝文帝延兴二年至太和十七年间(472-493)。唐代时,它是替国行道的镇国道场。
唐代大历元年(766),为不空三藏密宗道场。可惜文革时期,整座寺庙被毁,惟清凉石尚存。
清凉石是清凉寺的象征。佛教传说,文殊菩萨曾于清凉石上讲经说法,因此也称“曼殊床” ,现今的清凉寺是20世纪90年代后期,由香港黄惠卿女士等筹资、山西省文物局工艺美术大师胡银玉设计施工重建的一座新寺。