罗睺寺位于塔院寺的东北面，是五台山专供罗睺罗的道场，建寺历史最早可追溯于北魏时期，清朝时发展为地位仅次于菩萨顶的一座黄庙。寺庙内的“开花献佛”闻名遐迩，还是五台山著名的“五大禅处”之一，关于罗睺寺名称的来历，有两种说法。

第一种说法是佛太子说。传说释迦牟尼的嫡子在其母肚里怀孕七年，于释迦牟尼称道之夜降生，起名罗睺罗。罗睺罗十五岁时随释迦牟尼出家，是佛教史上的第一个沙弥，后来成就了罗汉果位。北宋时期，丞相张商英在当时还名善住阁院的罗睺寺新建了罗睺殿，供奉了罗睺像，罗睺寺也就因此而名了。

第二种说法是西方十六祖说。传说释迦牟尼死后，将教义传给了大徒弟摩柯迦叶，中国佛教称其为西方初祖。西方第十六祖叫罗睺罗多，罗睺寺是因其而名。因为在清康熙十一年（公元1672年）御制《重修清凉山罗睺寺碑记》里面发现了这样一句话：“惟兹罗睺寺，其地近文殊现相处，其取义似皈依西方十六祖”。从文史考证上来讲，后者的说法是不是更据说服力呢？