杜门绝迹出自哪里？

成语《杜门绝迹》的出处如下：
《后汉书·党锢传·刘佑》：“（刘佑）后得赦出……诏拜中散大夫，遂杜门绝迹。”