可回到李家後，趙徽不僅沒道歉，反而更加變本加厲。把李瑋送的東西都扔出了房間，還讓秋和把李瑋攔在門外，不讓他進房間。楊氏氣得不行，卻又不敢再去皇宮告狀，只能眼睜睜看著趙徽欺負李瑋。
嘉佑八年，趙禎去世，宋英宗趙曙繼位。趙徽失去了最疼的爹爹，在皇宮裡再也沒有靠山，日子過得更加艱難。
有一次，趙徽跟李瑋因為一件小事吵架，李瑋忍不住跟吵了起來，還推了一把。趙徽摔倒在地，額頭磕在了桌子上，起了一個大包。氣得不行，連夜帶著秋和，想回皇宮找曹皇后評理。
可到了皇宮門口，守門的侍衛卻攔住了：“公主，陛下有旨，公主出嫁後，沒有旨意，不能隨便回宮。”
“我是公主！我要見皇后娘娘！你們快讓開！”趙徽大喊著，想推開侍衛，卻被侍衛死死攔住。
“公主，對不起，我們只是奉命行事，不能讓您進去。”侍衛們語氣堅定，不管趙徽怎麼鬧，都不肯讓進去。
趙徽看著閉的宮門，又想起去世的爹爹，眼淚掉了下來，絕地坐在地上，哭了很久。秋和扶著，說：“公主，咱們還是回李家吧，不然天快亮了，要是被駙馬爺知道了，又要吵架了。”
趙徽沒有辦法，只能跟著秋和，回了李家。
回到李家後，李瑋不僅沒跟道歉，反而被楊氏教唆著，把秋和趕走了——楊氏覺得，秋和總是幫著趙徽，留著秋和，只會讓趙徽更任。
秋和被趕走的時候，哭著跟趙徽告別：“公主，我走了，你要好好照顧自己，要是駙馬爺和夫人欺負你，你就想辦法跟宮裡的人聯絡，別自己憋著。”
趙徽抱著秋和，哭著說：“秋和，你別走，你走了，我一個人在這裡，該怎麼辦啊？”
“公主，我也不想走，可駙馬爺和夫人非要讓我走，我沒辦法。”秋和了眼淚，轉離開了李家，從此再也沒有訊息。
秋和走後，趙徽在李家徹底沒了依靠。楊氏經常故意刁難，給吃剩飯剩菜，讓穿破舊的服，還讓做些活累活。李瑋也不管，任由楊氏欺負。
有一次，楊氏故意把趙徽的被子拿走，讓在冰冷的房間裡睡覺。趙徽凍得一夜沒睡，第二天就冒了，咳嗽不止，還發了高燒。想讓李瑋找太醫來給看病，李瑋卻只是說：“不過是小冒，喝些薑湯就好了，不用找太醫。”
趙徽沒辦法，只能自己忍著，病越來越嚴重，差點沒過來。後來，還是宮裡的曹皇后聽說了的況，派人送來了太醫和藥材，的病才慢慢好起來。
治好了病，趙徽再也不想待在李家，託人給曹皇后帶信，想讓曹皇后幫跟宋英宗求，讓跟李瑋和離，回皇宮住。可曹皇后卻回信說：“徽，如今陛下剛繼位，朝局不穩，不能因為你的事惹出麻煩。李瑋雖然對你不好，卻也沒有大錯，你再忍忍，等以後有機會，我再幫你想辦法。”
趙徽看著信，心裡徹底涼了——知道，曹皇后是不會幫的，只能在李家，繼續過著被欺負的日子。
宋英宗繼位沒幾年，就去世了，宋神宗趙頊繼位。趙徽的年紀越來越大，也越來越差，因為長期被欺負，被抑，經常生病，神也越來越不好，有時候還會神志不清，對著空氣說話。
有一次，宋神宗想起了趙徽，派人去李家看。使者到了李家後，看到趙徽穿著一件破舊的灰棉襖，頭髮散，坐在院子裡的椅子上，眼神空，像個傻子一樣。院子裡的雜草長得很高，房間裡也七八糟的，本不像公主住的地方。
使者心裡很不忍，跟趙徽說話，趙徽也只是呆呆地看著他，不說話。使者回到皇宮後，把看到的況跟宋神宗說了，宋神宗聽了，也很慨，下旨讓李瑋好好照顧趙徽，不能再讓委屈，還賞了不金銀珠寶和綾羅綢緞。
可李瑋和楊氏本沒把宋神宗的旨意放在眼裡，只是表面上對趙徽好一點，背地裡還是照樣欺負，把宋神宗賞的金銀珠寶和綾羅綢緞，都據為己有。
元三年，趙徽在李家病逝，年僅三十三歲。去世的時候，邊沒有一個人，只有一個老僕在邊，看著斷了氣。
老僕想給換一件乾淨的服，卻發現，趙徽的櫃裡，全是破舊的服，沒有一件像樣的。老僕心裡很不忍，找李瑋要一件乾淨的服，給趙徽換上，李瑋卻只是說：“死都死了，換不換乾淨服，有什麼區別？隨便找件服裹上，埋了就行了。”
老僕沒辦法，只能找了一件相對乾淨的舊服，給趙徽換上，然後把埋在了李家的祖墳裡，連個墓碑都沒有。
趙徽去世的訊息傳到皇宮後，宋神宗只是皺了皺眉，說了句“知道了”，就再也沒提過。曹皇后得知訊息後，嘆了口氣，讓人送了些紙錢去李家，算是對趙徽的悼念。
後來，有人把趙徽的事蹟，告訴了當時的文人。有個文人很慨，寫了一首詩，詩裡有一句：“昔日金枝玉葉，如今零落泥塵裡。可憐一生多坎坷，死後無人記姓名。”
這首詩很快傳遍了汴京，百姓們都知道了趙徽的遭遇，有人說可憐，有人說任，要是當初好好跟李瑋過日子，就不會落得這樣的下場，還有人說，李瑋和楊氏太過分，不該這麼欺負公主。
多年後，李家敗落，李家的祖墳也被人挖了，趙徽的骨，被扔在了城外的葬崗，再也找不到蹤跡。
。憐可很得死，了世去就輕輕紀年後最，負欺被家夫在，人的歡喜不己自了給嫁卻，貴尊出，徽趙名，主公的宋大位一有經曾，起說們子孩跟，尾巷頭街在人老有會，爾偶有只。忘人被慢慢也，事往的徽趙於關段那而
。場下的慘悲此如個得落，姻婚的願不場一為因，家皇在生為因卻，終最可，子日的穩安福幸著過能，人的歡喜己自給嫁能著盼也經曾，年的樂快過有也經曾，主公的憐可位這，道知不們他。了玩去跑又後然，頭點點地懂非懂似，著聽們子孩
。生人慘悲的主公家皇位一，著說訴在舊依卻，久很去過經已然雖，事往的忘被些那像就，依依舊依樹柳的邊岸，淌流舊依河汴的京汴
