房遺愛也是人，他也需要有生活，老婆對自己不假辭色，身份地位又比自己高，這讓孔武有力的房遺愛心裏很不是個滋味。
所以他得想辦法彌補心裏面的缺陷，那就是我不管你你也別管我，你有你的辯機和尚，我有我的絕色侍女，咱們兩口子各玩各的。
當然，也不排除是因爲房遺愛好面子，不敢把事情聲張出去的緣故，再怎麼說他老爹也是個宰相，這事傳出去不僅皇家的顏面無存，他房家的顏面估計也得掃地。
本來還相安無事，因爲辯機這個佛門的青年才俊被選上了協助玄奘撰寫大唐西域記，所以就把高陽公主送給他的金玉枕給帶上了。這一帶，就出了事。
有個小偷跑到佛堂裏偷東西，看到名貴的枕頭，於是乎順手就把枕頭給拿了。
你說你拿了就拿了吧，偏偏還被抓了，被抓了也就算了，你這枕頭一看就不是一般人家的，於是就審問他從哪裏偷來的。
這小偷爲了減輕罪責，直接說是從佛堂那邊偷的，一找才知道，這個和尚是辯機。
按理來說一個枕頭而已，也沒法定罪於辯機，可關鍵這枕頭是女士的，出現在一個和尚的房間裏，這事就有些不好辦了。
於是官府開始查，一查發現高陽公主和和尚辯機私通，辯機被腰斬而死，而高陽公主也漸漸被冷落了。
房遺愛頂着一頂綠帽子過了七八年。
一開始只有自己一個人知道，這帽子戴着也挺舒服，結果現在整個長安的人都知道自己戴了綠帽子，可他偏偏還拿高陽公主沒辦法。
人家是帝女，你能把人家怎麼着？
後來，唐太宗離世，李治即位，是爲唐高宗。
需要了解的是，唐太宗在位時原本是立了嫡長子李承乾爲太子，但由於晚年寵愛四子魏王李泰，從而使得兩個兒子爲儲位大打出手，李承乾更是想要逼宮，結果被廢黜，最終獲利的卻是唐太宗的第九子李治。
但唐太宗聽長孫無忌之建議冊立李治爲太子後，又認爲李治仁弱，更欣賞第三子吳王李恪。
李世民曾問長孫無忌：“我想立他爲太子，怎麼樣？”
不過長孫無忌並不同意另立太子，並據理力爭，說李治只是軟弱，但並沒有犯下什麼過錯，而性格是可以成長的，唐太宗便沒有再重新冊立太子。
唐高宗李治即位後，以其舅父司徒、趙國公長孫無忌和英國公李勣爲二人爲輔政大臣。
受後世影視文學作品的影響，很多人對於李治的印象似乎都很溫和，認爲李治性格軟弱可欺，然而事實卻恰恰相反。
真實的李治政治手段高超，城府極深，溫和親仁的外表不過是他年紀尚小實力不穩的僞裝而已。
唐高宗李治十五歲被立爲太子，滿朝文武中根本沒有可用的班子，只能仰仗親舅舅長孫無忌一派，而長孫無忌也正因如此才力挺李治爲帝。
此種情形下的李治不得不低頭伏小，僞裝是他最好的選擇。
貞觀二十三年，唐太宗李世民去世，長孫無忌身爲三朝元老，更是皇帝的親舅舅，一時間風頭無兩，朝野上下被他治理得噤若寒蟬服服帖帖。