단종을 보좌하다 1453년 계유정란 때 수양대군에게 살해된 황보인(皇甫仁)과 함께 살해당한 황보석(皇甫錫), 황보흠을 배양하기 위해 1791년(정조 15)에 지방유림과 그 후손들이 세웠다. 세덕사라 하다가 1831년(순조 31)에 ‘광남서원’이라고 사액(賜額)되었으며, 흥선대원군(興宣大院君)의 서원철폐령으로 1868년(고종 5)에 훼철(毁撤)되었다가 1900년에 복원되어 오늘에 이르고 있다. 이 서원에서는 매년 3월 중정(中丁)에 향사를 지내고 있으며, 제품은 4변(籩 4두(豆)이다. 재산으로는 전답 2천평 등이 있다.