A nemesi származású Dörögdi család építtette a ma „Klastrom” néven ismert román stílusú Szent András-templomot a XIII. században. 1343-ban Dörögdi Miklós, egri püspök, gót stílusban átalakíttatta és megnagyobbíttatta. Az 1330-as évektől a község plébánosa Dörögdi Pál lett. 1360-ban, halála után a templomban helyezték örök nyugalomra. Faragott sírköve és a vörös homokkőből készült keresztelőmedence a helyiség templomában ma is látható. Ekkor a templom még Felső-Dörögd központjában állt, azonban a XVII. században a török seregek földig rombolták a falut. Felső-Dörögd teljesen eltűnt. Az 1718-ban visszatérő lakók Alsó-Dörögd helyén építették újjá közösségüket. A mai napig álló szentély 6,81 m oldalú négyzet, amit a hajótól egy diadalívvel választottak el. A hengerfal és 1-2 lépcsőfok utal az egykori templomtoronyba vezető csigalépcsőre. A templom ablakait művészi munkával vörös homokkőből építették és csúcsívesre faragták. A XIX. század végén még láthatóak voltak az épület legérdekesebb maradványai, a freskók. A szentély falait részekre osztották és mindegyikben más-más bibliai jelenetet ábrázoltak. Ami közös volt bennük, hogy minden rész tartalmazott egy bizánci stílusú glóriával övezett fejet. 
A Klastromot és környezetét 1975-ben régészeti kutatások alá vetették. Számos szórványos bronzkori urnasírt és egy nagyobb római kőépület maradványait is felfedezték a föld mélyén. Ennek oka, hogy Felső-Dörögd lakossága temetőnek használta a templom körüli füves területet. A templomrom műemlékvédelem alatt áll.
A település történelmének minden egyes pillanatát és talán az örökkévalóságig felfedetlen rejtélyeit őrző templomrom, a hosszú évszázadok folyamán Taliándörögd jelképévé vált.