位于铁山区尖林山的西北坡山腰，坐东朝西，群山环抱。铁山寺又名铁山古刹，俗称老君庙。相传铁山寺始建于宋代，明洪武末、清光绪二十一年两次重修。寺高6～7米，一院两进一穿堂，依山势形成三个台阶，土木结构。建筑面积约500平方米，前进左右两壁分别嵌有清光绪二十一年（1896）大冶县补用知县兼大冶铁矿总办李增荣书写的《重修铁山寺》、《火车行》两碑刻；后进为佛堂。寺后层林葱郁；寺前有千年银杏树，当地尊称为“老虎洞仙姑树”。旧志载寺下有龙洞，亦名老龙洞，今洞口已淹没。清同治七年，大冶知县马修藩曾入洞探奇，并写有《铁山洞记》。铁山寺旁现有公路通往铁山城区。