O nastanku cerkve v Kotljah na Koroškem kroži legenda, ki pravi, da sta pred davnimi časi sv. Marjeta in sv. Ožbalt skupaj potovala po Koroški in iskala cerkev, v kateri sta bila določena za patrona. Sv. Marjeta je bila določena za cerkev v Črni, sv. Ožbalt pa za cerkev v Kotljah. Toda pri Kotljah je Marjeto pičila kača in je morala tam tudi ostati, Ožbalt pa je odpotoval naprej v Črno in postal patron tamkajšnje cerkve. Župnijska cerkev sv. Marjete je lepo ohranjena baročna cerkev z romanskimi temelji. Arhivskih virov o njenem nastanku ni. V Blaznikovi historični topografiji Slovenije imamo omenjeno naselje z letnico 1313 (quet datu Choulach) in letnico 1367, ki govori o kapeli sv. Neže, Primoža in Felicijana. Stavbo so v 18. stoletju temeljito prezidali. Ob baročno enoladijsko prostornino so na severu pogled s kora skozi pokopališka vrata na južno kapelo prislonili nečlenjen (na temelju starejšega zgrajeni) zvonik in pravokotno zakristijo, na jugu pa stavbo razširili s poligonalno kapelo s stolpičem. Stilno neenotna in skorajda asketska zunanjost cerkve preseneti s svojo vizualno bogato notranjščino in izjemno kvalitetno notranjo opremo. Cerkev se ponaša s kar petimi oltarji s časovnim razponom njihovega nastanka od 17. do konca 18. stoletja. Nedvomno najpomembnejši del cerkvene opreme predstavlja glavni baročni oltar sv. Marjete, levi stranski oltar je posvečen Materi Božji, desni stranski oltar sv. Petru in Pavlu, oltar v levi stranski kapeli sv. Florjanu z napisom Hoc aeltare erectum 1662 in oltar sv. Rešnje krvi (okoli 1760) v desni kapeli. Omeniti velja tudi izjemno umetnostno vrednost v cerkvi, psevdobaročno prižnico, prvo in edino ohranjeno delo kiparja Franca Bernekerja na Koroškem, kar potrjuje napis, najden ob renovaciji s podpisom umetnika, »to delo pervo moje« iz leta 1896.