元和三年（808年），白居易改授左拾遺，仍充翰林學士。在他剛擔任翰林學士的時候，一個叫李放的畫家為他畫像，白居易在像上題詩，說：
我貌不自識，李放寫我真。
靜觀神與骨，合是山中人。
蒲柳質易朽，麋鹿心難馴。
何事赤墀上，五年為侍臣。
況多剛狷性，難與世同塵。
不惟非貴相，但恐生禍因。
宜當早罷去，收取雲泉身。
（《自題寫真》）
此時的白居易已經意識到，自己狂狷的性格處在朋黨傾軋的朝廷，很可能會給自己帶來滅頂之災。但是「收取雲泉身」又談何容易！在被任命為左拾遺之後，詩人昂然以天下為己任：「奉詔登左掖，束帶參朝議」，「天子方從諫，朝廷無忌諱」，（《初授拾遺》）多次上書議論時政，得罪了權臣李吉甫及其子李德裕，陷入了政治鬥爭的漩渦中。此後幾十年的時間中，白居易一直受到李德裕的排擠。不僅如此，白居易因為皇帝任用宦官做統帥，還當面指責皇帝。白居易擔任左拾遺，可以說是充分發揮了這個官位的職能，（左拾遺為諫官）可是，也因此得罪了很多人。元和六年（811年），白居易母親去世，他辭官回家守孝，三年後再回朝廷的時候，沒能繼續當左拾遺，而是改授太子左贊善大夫，這大概也跟他任諫官時多次直言進諫，得罪了權臣有關。誰知道，真正的大禍，卻在這個陪太子讀書的職位上悄悄地等著他。
元和十年（815年），宰相武元衡因主張用強硬手段剿滅割據一方的節度使勢力而遭到藩鎮的嫉恨，竟然在上朝途中遭到刺客暗殺。（參看《說「不」是一件不容易的事》一章）事發之後，朝野震驚。刺客的主使其實已是公開的秘密，但是朝野上下卻無人敢言。此時白居易已經不再擔任諫官，可是他激於義憤，不顧自己的職責所限，上書朝廷要求捉拿兇手。他似乎並不知道，自己已經掉入了一個巨大的政治漩渦中，成了一個毫無意義的犧牲品。
安徒生的《皇帝的新裝》裡，最後是一個孩子大膽地說出了大家都知道的秘密：皇帝沒有穿任何衣服。安徒生並沒有說這個孩子的結局怎樣，但是白居易用自己的遭遇告訴了我們講真話的結局。他的奏章發出之後，權臣十分不滿，給他安了一個「越職言事」的罪名，要處理他。大概別人覺得這個罪名還不夠重，於是又添油加醋說，白居易的母親是看花落井而死的，可白居易竟然還寫了《賞花》《新井》這樣的詩，明顯是不孝，於是兩罪並罰，白居易一夜之間，便由萬眾矚目的天子腳下，被貶到了楓葉荻花的江州做司馬。
在江州的日子，大概是詩人人生中最悲苦的一段歲月吧。在一個秋天的夜晚，白居易在江邊送別朋友，突然聽到鄰船傳來動聽的琵琶聲。於是「移船相近邀相見，添酒回燈重開宴」，這個曾經色藝雙絕名動京城的琵琶女給終歲不聞絲竹聲的詩人帶來了些許安慰，但是更多的卻是讓詩人更真切地感覺到被貶謫的悲涼和無奈。於是，在這個秋夜，同樣的漂淪憔悴把詩人和琵琶女聯繫在了一起，夢啼妝淚紅闌干，江州司馬青衫濕，船外江心秋月白，兩個不相識，但是也不必相識的天涯淪落人，用音樂和詩歌搭起了溝通的橋樑，互訴悲苦人生。