‘도남(道南)’이란, 북송의 정자가 제자 양시를 고향으로 보낼 때, “우리의 도가 장차 남방에서 행해지리라” 한 데서 비롯되었으며, 조선의 유학 전통은 바로 영남에 있다는 자부심에서 이 서원은 탄생하였다. 1605년(선조 38) 4월, 전 주부 등 8인이 묘우를 세워 유현을 모시기로 발의하고 통문을 내었으며 5월에 옥성서당에 모여 서원건립을 의결하였는데 회원은 60인이었다. 1606년(선조 39) 6월, 연악서당 회의에서 낙동강 무임포에 서원 자리를 정한 후 동년 12월 정몽주(鄭夢周), 정여창(鄭汝昌), 김굉필(金宏弼), 이언적(李彦迪), 이황(李滉) 오선생 위판을 봉안하였다. 1616년(광해군 8)에는 노수신(盧守愼), 유성룡(柳成龍), 1635년(인조 13)에는 정경세(鄭經世)를 추가배향하였다. 1676년(숙종 2)에 사액(賜額)된 이후 몇 차례 중수를 거쳤으나, 1871년(고종 8)에 훼철되었다.