효령사는 김유신의 삼국통일을 이룩한 업적을 기리어 만들어진 것이라 할 수 있고, 또 삼국통일 자체의 의미를 후세에 높이 새기게 하는 곳과 관련이 있다. 아울러 함께 봉안하고 있는 소정방, 이무 등이 중국의 당인임을 볼때 당시의 전반적인 시대배경을 알 수 있다. 또한 야사에 의하면 김유신, 소정방, 이무의 삼장군이 지금의 장군동 근처에서 회동하게 되었으며, 장군봉에 지휘소를 세우고 기거하면서 백제를 정벌할 작전을 수립하여 백제를 치고 대업을 이룬 뒤 삼장군은 다시 효령에 들러 장군봉에 올라 "이제 삼국 통합이 되었으니 안심하고 살아라"라고 주민에게 말했다고 전한다. 그리고 고려말 사공씨 가운데 한 사람이 나라에 상징하여 나라의 명으로 사당을 세워 그 이름을 장군당이라 하고, 매년 정초 상원과 오월 단오에 관민이 합심하여 제례를 올리게 되었다.