在太宗皇帝為李治安排的顧命三臣中李績是最特别的存在，他極少與長孫無忌和褚遂良為伍，也就是在高陽公主和荊王李元景代表的宗室謀逆中李績短暫的站在了長孫無忌的一派，除此之外李績大部分時間都和長孫無忌保持着距離，對長孫無忌和褚遂良謀劃的事也一直秉持置身事外的态度，按李績夫人的話就是李績“不與長孫監國和褚遂良為伍”，在很多朝臣的眼裡司空大人甚至沒有一點顧命大臣的模樣，給人的感覺就好像先帝的顧命大臣隻有長孫無忌和褚遂良二人，在這兩人的威勢下李績沒有多少存在感。
可實際上不論是李治還是長孫無忌、褚遂良都不會輕視李績的存在，因為李績是可以和大唐軍神李靖相提并論的大将軍，大唐以武立國，李績這樣的武将就是這個國家最為倚重的根基，這也是太宗皇帝會在臨終前特别囑托李治重用李績的原因，隻可惜李治從即位到現在一直請不動李績這一尊大神，即使是在李治想要對高句麗一戰卻無将可用的時候，李績對李治的渴望也一直無動于衷，逼不得已之下李治隻能殿外選将找到了二十三年無立寸功得蘇定方，好在李治賭赢了，也算是陰差陽錯之下得到了一位難得的名将，在對西突厥一戰的時候李治也就乘勝追擊繼續用蘇定方，隻是因為王文度矯诏錯過了破敵的良機，小勝而歸。
但這并不能代表李治有了蘇定方就不希望得到李績的支持，蘇定方再優秀現在也隻是老樹開新芽，枯木逢春，名聲雖有，但隻算武将新貴，年齡雖有，但資曆尚淺：這時候的蘇定方隻是打了兩場勝戰的老将，遠沒有達到自己在曆史上的高度，與之形成對比的李績就好像是大唐武将的常青樹，這也是李績即可以不與長孫無忌為伍，又讓李治用不動的憑借。
在太宗皇帝的托孤中也是有一定的心思存在，顧命三臣三分皇權，長孫無忌和褚遂良二人為文臣，李績為武将，隻要不發生三人同流合污的事，那長孫無忌和褚遂良一加一就大于李績的一，二人遏制一人，李績雖有兵權，也要受制于二人，反過來也一樣，李績手中有兵權，雖然實權小于長孫無忌的二人，卻也能用兵權鉗制二人，太宗皇帝雖然是君，但君子也要有防人之心，至于假如真的出現了三人同流合污的事，别說李治了，就算是太宗皇帝自己都很難解決，那李治隻能自求多福，所以對于這種防不住的極端情況太宗皇帝直接忽略過去，還因為太宗皇帝相信長孫無忌，（不相信也沒辦法，他還能不死咋的）這就是李績說的權宜之計。
可是現在這種情況發生了變化，李績把太宗皇帝送給他的天子劍歸還給了李治，而這把劍象征着李績手中的兵權，也象征着是李績對李治的效忠，在現在這個牽一發而動全身的特殊時刻，前有李治廢後，後有褚遂良請罪自貶，這就代表着李治和長孫無忌的皇相之争格局在一進一退之間發生了重大變化，可以說李績這是給了已經痛失褚遂良的長孫無忌又一次沉重一擊，試問在場之人誰不震驚？
李治顫抖着雙手打開内侍監取過來的木盒，裡面的天子劍李治熟悉又陌生，熟悉是因為這把天子劍是太宗皇帝的貼身佩劍，李治在做太子的時候時常接觸，在太宗皇帝駕崩後這把劍就代表着先帝，陌生是因為在父皇駕崩之時，把這把劍分成了三分賜予了三位顧命大臣，李治雖是天子，卻不曾擁有天子劍，現在好了，天子劍的三分之一終于回到了自己的手中，而且還是最為重要的兵權，即使李治想要喜怒不形于色也做不到了。
還有一點是李治沒想到的，在在之前李績明明是不想參與這一次的皇相之争，所以才會“因病缺席”紫宸殿議事，沒想到在經過武賢妃的一次拜訪之後李績就改變了主意，雖然如意過去已經讓李治大開眼界了很多次，但這一次李治依舊感慨，父皇有母後的幫輔，這才有了明君賢後的名譽，自己也不差，在李治的心裡如意堪比長孫皇後。
而長孫無忌和褚遂良，如果他們剛才的臉色是難看，現在則是有了一些頹敗的灰色，他們以為李績依舊會“因病缺席”置身事外，沒想到李績直接歸還了先帝的天子劍，這是要還政于朝，既然這樣那廢後之事隻怕也危矣，難怪剛剛崔敦禮問李績對廢後之事怎麼看，李績是不停的咳嗽，衆人還以為李績疾病未愈，沒想到是這樣的突然一擊。
這就是褚遂良和李績不同的選擇，褚遂良把自己在太宗皇帝三分皇權時得到的劍鞘交給了長孫無忌，而李績卻在同一時間把天子劍交給了李治，不同的選擇注定了兩人不同的結局。
在褚遂良還沒有從李績給他的震驚中回過神的時候内侍監就得到了李治的眼神指示。
内侍監于是咳嗽一聲道：“咳，各位大人，皇上有旨，接下來商議廢後之事，咳，褚大人，既然褚大人請罪之事已經有了決斷，那褚大人就不适合繼續留在紫宸殿中和諸位大人一起參與中樞議事，還請褚大人自行離去，至于外遷潭州之事褚大人等皇上的旨意就好了。”
褚遂良愣愣的看着要把自己“趕出”紫宸殿的内侍監，從現在開始自己就不再是中樞七相之一了，褚遂良看着内侍監，看着李治，看着不看自己或者慚愧的看着自己的一幹老臣，看着紫宸殿的一梁一柱，一桌一椅，一面屏風，一扇窗戶。
褚遂良從來沒有想過自己有一天會以這樣的方式離開這裡，從被太宗皇帝看重做侍書（秘書）開始，褚遂良在紫宸殿中議事已經有了二十多年的時間，可以說褚遂良熟悉紫宸殿的很多東西，他也想過自己在這裡告老還鄉的那一刻，卻沒有想過現在自己就要被從這裡趕出去，褚遂良的心裡頓時空蕩蕩的，像是失去了什麼重要的東西，長孫無忌說會尋機把自己召回來，可是李績的出現讓褚遂良開始擔憂自己回來的可能性，自己還有機會回到紫宸殿嗎？
想到這裡這位太宗皇帝身邊忠心耿耿的老臣就好像塌了肩膀，彎了脊梁，然後一言不發，一個字沒有留下，一步一步的走向紫宸殿的門口，一步一步，一步一年，在褚遂良走到門口的時候他仿佛真的成了一個年邁的老臣，然後扶着紫宸殿的門柱走出了大殿，這象征了先帝老臣在李治朝的第一次退幕。
在褚遂良離去之後，衆人心知肚明接下來的事就是已經兩次協商失敗的廢後之事，隻是現在有了李績這個突發因素，大家各自心懷鬼胎。
在褚遂良離去之後李治也算是長出了一口氣，之前的兩次廢後協商褚遂良都是反對廢後的先鋒，現在沒了褚遂良，李治壓力小了很多。
在李治開口繼續詢問大家對廢後之事的态度之後，中樞六相果然發生了變故，沒有了褚遂良也就沒人先站出來打頭陣，無奈之下長孫無忌知道自己躲不過去，再說了他是顧命大臣，是監國，現在這裡也是他的身份最高，他不說話誰都不适合先說話，但長孫無忌對廢後的态度不變，他不同意廢後。
在長孫無忌之後是韓瑗和來濟，這兩個人眼看褚遂良被貶，反對廢後的銳氣也少了一些，他們在自己原來的強硬立場上做出了些許退讓，于是道：“皇上，就算是要廢後，但廢王立武這件事還是需要審視，因為選擇皇後人選要慎重，武賢妃聲名有缺，資質不夠，恐怕不足以為後。”
韓瑗和來濟二人的立場已經從阻止廢後到了可廢後，但皇後人選需要商議上，廢王可以，但立武有待商榷，這就是一種退讓。
韓瑗和來濟說話的時候一直在看着長孫無忌，他們不明白現在長孫無忌還死咬着反對廢後幹什麼，眼看廢後之事已經不可阻止，倒不如退一步同意廢後，然後全力控制新皇後的人選這才是上策，長孫德妃不就是長孫無忌應該鼎力支持的人嗎？長孫無忌難道是不想支持長孫德妃上位不成？韓瑗和來濟心中有些急，也有些不懂，他們認為這個辦法可行，在廢後上他們做出了讓步，那新皇後人選李治也要做出讓步才對。
他們卻不知道長孫無忌也是有苦難言，因為長孫無忌知道王皇後不孕的真相，這也是德妃始終不孕的真相，這說明李治壓根不想德妃生孩子，孩子都生不出來還怎麼做皇後？所以德妃做不了皇後，長孫無忌明白韓瑗和來濟的想法，但這個想法注定不能實現，所以他隻能直接反對廢後，這是長孫無忌沒有說出真相不可避免的和韓瑗、來濟産生了誤會。
而崔敦禮和于志甯二人卻是不約而同的選擇了沉默，既不說贊同，也不說不贊同，這不是沉默是金，也不是長孫無忌慣用的冷處理方式，隻怕是要選擇退出議事立場，選擇中立了，這更是一種退讓。
長孫無忌看着态度各異的其他人，他沒想到隻是走了一個褚遂良，自己這些人就成了這個支離破碎的局面，韓瑗和來濟選擇退讓一步同意廢王而不立武出自上一次議事褚遂良所言，本就是他們不想和皇帝鬧僵的退路之一，逼不得已那就可廢王不立武，現在這個局面，褚遂良被貶，李績還政于朝，他們認為自己需要做出退讓了。