고택의 북동쪽에 위치한 세덕사(世德祠)는 맹사성과 그의 조부인 맹유(孟裕), 부친인 맹희도(孟希道) 세 분의 위패를 봉안한 사당이다.
사당은 후대에 지어진 것이나 최초 건립시기는 알 수 없다. 이곳에서 매년 10월 10일 숭모제가 열리고 있다. 세덕사는 정면 3칸, 측면2칸이며 전면 반 칸 열에 툇기둥을 세워 벽체와 창호를 설치하여 툇마루 공간을 두고 있으며 지붕부는 팔작지붕의 구조이다.