이 서원은 고려 말기의 충신 정몽주를 추모하기 위하여 1553년(명종 8)에 노수(盧遂), 김응생(金應生), 정윤량(鄭允良), 정거(鄭琚) 등 향내 유림들이 임고면 고천리 부래산(浮來山) 아래 창건을 시작하였다. 1554년(명종 9)에는 명종으로부터 사서오경과 많은 위전(位田)을 하사받아 사액서원이 되었다. 최초의 사액서원인 백운동서원이 사액 된지 불과 5년 만에 사액되었으므로 초기 서원에 해당함을 알 수 있다. 이 때 역사가 깊은 이 서원이 훼철된 것은 개경에 있는 숭양서원(崧陽書院)에서 포은 선생을 향배하고 있었기 때문이다. 1919년 존영각을 건립하여 포은 선생의 영정만 모시고 향사를 지내오다 1965년에 다시 복원하여 위패를 모셨으며, 1980년에 보수정화 하였다. 이곳에 임고서원이 들어서게 된 것은 포은 선생의 부모 묘가 서원 뒤편 부래산에 있기 때문이다. 부래산 기슭에는 포은 선생의 부 일성부원군 운관(云瓘) 묘와 어머니변한국부인 영천 이씨 묘가 함께 있다. 그리고 서원 바로 옆에 묘소를 지키는 계현재(啓賢齋)가 있다.