桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　少而无父者谓之孤，老而无子者谓之独，老而无妻者谓之矜，老而无夫者谓之寡。此四者，天民之穷而无告者也，皆有常饩。瘖、聋、跛、躃、断者、侏儒、百工，各以其器食之。

　　袁彥道有二妹：壹適殷淵源，壹適謝仁祖。語桓宣武雲：“恨不更有壹人配卿。”