有一天高宗退朝后,宣召长孙无忌、李世、于志宁、褚遂良进入内殿。褚遂良说:“今天皇上宣召,多半是为了后宫的事,皇上的主意既已定了,违抗者必是死罪。太尉是元舅,司空是功臣,不可以让皇上承担杀元舅与功臣的不好名声。我褚遂良乃是自平民起家,没有汗马功劳,到了今日这个地位,而且接受先帝托孤,不以死谏诤,无颜去见先帝!”李世称病没去内殿。无忌等人到了内殿,高宗对他们说:“皇后没有子嗣,武昭仪有,如今朕想立武昭仪为皇后,你们看怎么样?”褚遂良答道:“皇后出身名家,是先帝为陛下娶的。先帝临死的时候,拉着陛下的手对我说:‘朕的好儿子好儿媳,如今就交付给你了。’这些话都是陛下亲耳听到的,言犹在耳。未听说皇后有什么过错,怎么能够轻易废掉呢!我不敢曲意顺从陛下,以违背先帝的遗愿!”高宗十分不高兴,只好作罢。第二天又言及此事,褚遂良说:“陛下一定要更换皇后,我请求遴选全国的世家望族,何必非武氏不可。武氏曾经侍奉过先帝,这是众所周知,天下人的耳目,怎么能遮掩呢?千秋万代之后,人们又将怎么评价陛下呢?愿陛下三思而后行!我今日触怒陛下,罪该处死。”说完将朝笏放在殿内台阶上,解下头巾磕头直到血流满面,说道:“还给陛下朝笏,乞求放我回老家去。”高宗勃然大怒,命人将他带出去。武昭仪在隔帘内大声说道:“何不就地杀了这老东西!”长孙无忌说:“褚遂良是先朝顾命大臣,有罪也不可以加刑。”于志宁不敢说话。
韩瑗因间奏事,涕泣极谏,上不纳。明日又谏,悲不自胜,上命引出。瑗又上疏谏曰:“匹夫匹妇,犹相选择,况天子乎!皇后母仪万国,善恶由之,故嫫母辅佐黄帝,妲己倾覆殷王,诗云:‘赫赫宗周,褒姒灭之。’每览前古,常兴叹息,不谓今日尘黩圣代。作而不法,后嗣何观!顾陛下详之,无为后人所笑!使臣有以益国,菹醢之戮,臣之分也!昔吴王不用子胥之言而麋鹿游于姑苏。臣恐海内失望,棘荆生于阙庭,宗庙不血食,期有日矣!”来济上表谏曰:“王者立后,上法乾坤,必择礼教名家,幽闲令淑,副四海之望,称神祗之意。是故周文造舟以迎太姒,而兴《关雎》之化,百姓蒙祚;孝成纵欲,以婢为后,使皇统亡绝,社稷倾沦。有周之隆既如彼,大汉之祸又如此,惟陛下详察!”上皆不纳。
韩瑗找个时机上奏疏,流泪极力劝阻废皇后,高宗不予采纳。他第二天又劝谏,悲伤得不能自已,高宗命人将他带出去。韩瑗又上奏疏劝谏道:“一般的夫妇,还要相互选择后再结合,何况天子呢?皇后乃是天下妇女的仪范,善恶由她而生,所以说嫫母辅佐黄帝;妲己倾覆殷朝,《诗经》说:‘赫赫有名的宗周,就灭在褒姒之手。’每次观览前朝史事,常会发出感慨,没想到今天圣明之世也会受到玷污。作事不依法度,后世将如何看呢!希望陛下再三考虑,不要让后人讥笑。假使臣下我的话有益于国家,即使被剁成肉酱,臣也死得其所!当年吴王不听伍子胥的话,结果吴都姑苏破败,麋鹿出没。臣下我担心陛下令海内之人失望,使宫廷长满荆棘,宗庙不能继续享有祭祀的情况,为期不远了!”来济上表章劝谏说:“君主册立皇后,应该依据天地之理,必须选择名门礼教之家的淑女,幽雅娴静,贤淑美好,才可与人的厚望相副,也能称神灵的意图。所以说周文王造船迎接太姒,这才有《关雎》的教化,百姓承受福祚;汉成帝纵欲成性,以婢女为皇后,使皇统断绝,社稷倾覆。周代的隆盛是那样,汉代的祸患又是这样,希望陛下明察!”高宗对这些谏言都不予采纳。
他日,李入见,上问之曰:“朕欲立武昭仪为后,遂良固执以为不可。遂良既顾命大臣,事当且已乎?”对曰:“此陛下家事,何必更问外人!”上意遂决。许敬宗宣言于朝曰:“田舍翁多收十斛麦,尚欲易妇;况天子欲立后,何豫诸人事而妄生异议乎!”昭仪令左右以闻。庚午,贬遂良为潭州都督。
又一天,李世进宫见高宗,高宗问他:“朕想要立武昭仪为皇后,褚遂良固执己见认为不可以。褚遂良既是顾命大臣,他反对,那么事情就应该停止吗?”李世答道:“这是陛下的家事,何必又去问外人呢!”高宗废后主意于是定了下来。许敬宗在朝中扬言道:“庄稼汉多收了十斛麦子,还想着要换个老婆呢?何况天子要立皇后,人们又何必管那么多事而妄生异议呢?”武昭仪让身边的人将此话讲给高宗听。庚午(初三),将褚遂良贬为潭州都督。