杨家祠堂座落在县城东北部的古城墙边。太子少保、果勇侯、镇竿总兵杨芳捐资修建于清道光十六年（1836年）。 祠堂由大门、戏台、过亭、廊房、正厅、厢房组成，是典型的四合院建筑，占地770平方米。戏台为单檐歇山顶，穿斗式结构，高16米，面阔7米，进深8米；檐下如玉斗拱，台柱雕龙刻凤。正殿为抬梁式建筑，山墙为猫背拱，分为一明二暗三间。两边配有厢房。杨家祠堂设计精巧，做工精细。窗户、门、檐饰件均系镂空雕花，整体建筑具有鲜明的民族特色和很高的建筑艺术价值。