Am südöstlichen Ortsende von Kirchfährendorf befindet sich gegenüber der Kirche das ehemalige Armenhaus. Diese stellten eine weit verbreitete Form der Unterstützung mittelloser älterer Bewohner dar, waren daher aber zumeist an die Bedingung geknüpft, dass man aus dem Ort stammen musste. Das Denkmalverzeichnis schätzt, dass das Armenhaus in Kirchdorf auf die Zeit vor dem Jahr 1750 zu datieren ist. Auf dem kleinen Platz beim Gebäude steht ein Sühnekreuz.