江州之貶是白居易生命的轉折點。在此之前的詩人慷慨激昂，以天下為己任，直言朝政不避權貴，針砭時弊不顧安危。但是經過了這一次仕途的打擊之後，詩人已經「誰知名利盡，不復長安心」。
白居易在江州四年，後移忠州，元和十五年召還。穆宗即位後，白居易授中書舍人，拜尚書主客郎中，知制誥，加朝散大夫。可是朝廷朋黨之爭依然十分激烈，詩人不但無可作為，反而終日憂懼。於是白居易主動請求外任，長慶二年（822年）出為杭州刺史。在杭期間，白居易率眾挖湖築壩提高西湖水位，灌田千頃。為了警示繼任者重視水利建設，親筆寫下《錢塘湖石記》刻碑於西湖岸邊。白居易從杭州離任時，為前來送行的百姓寫詩道：「稅重多貧戶，農饑足旱田。惟留一湖水，與汝救凶年。」如今杭州西湖上的白堤則為白居易當年修築，故名「白堤」。
杭州任滿之後，白居易又任太子左庶子，分司東都。晚年的白居易，對仕途更是不再抱有希望，榮枯由之，聽天由命，與世相忘。他以妓樂詩酒自娛，自號「醉吟先生」。白居易說自己「惟以醉為鄉」，「往往酣醉，終日不醒」。宋代人統計，說白居易詩歌「二千八百首，飲酒者九百首」。
白居易飲酒頗具文人情調，良辰美景，邀客來家，先拂酒罈，次開詩篋，後捧絲竹。於是一邊飲酒一邊吟詩一邊聽琴，陶然自得。白居易有時候到野外遊玩，車中放一琴一枕，車兩邊以竹竿懸掛兩隻酒壺，操琴飲酒，樂而忘歸。
《窮幽記》說，白居易家有池塘，可以泛舟。他宴請賓客有時就在船上。白居易在船邊吊百餘空囊，裝有美酒佳餚，隨船而行。欲飲食即拉起，吃喝完再拉起一隻，直到吃喝完為止。
除了好妓樂飲酒之外，晚年的白居易亦頗好佛，以至於為自己取了一個頗有佛教意味的號：「香山居士。」也許是經歷了仕途坎坷之後，詩人以佛法作為自己的逃遁之所吧。
晚年的白居易幾乎過著隱居者的生活，一直到生命的盡頭。846年，中唐最偉大的詩人白居易去世，葬於龍門山。往來祭拜者不絕，因白居易好酒，因此人們總把酒灑在墳前地上，以至於很長時間裡，墳前土地都是濕漉漉的。唐宣宗曾經寫詩悼念他說：
綴玉連珠六十年，誰教冥路作詩仙？
浮雲不系名居易，造化無為字樂天。
童子解吟長恨曲，胡兒能唱琵琶篇。
文章已滿行人耳，一度思卿一愴然。