永州，在當時還是一個人煙稀少、荒涼冷清的地方。永州有一條河叫灌水，灌水的北面有一條小溪，當地人因為溪水可以用來染布，於是叫染溪，有的說姓冉的人曾在那裡居住，於是也叫冉溪。柳宗元到了永州之後，因為喜歡那裡的美景，就把溪邊的一塊地買了下來，並把這條小溪改名叫「愚溪」。並在溪邊修建房屋，開挖池塘，把周圍的丘、泉、溝、池、堂、亭、島均命名為愚丘、愚泉、愚溝、愚池、愚亭、愚島。
談到改名的原因，柳宗元說：溪水方位低下，不能用來灌溉；溪水太急，又多礁石，大船無法進入。幽邃淺狹，蛟龍也不屑於在此停留，不能興雲造雨，對世人沒有作用，但是正好適合我。（蓋其流甚下，不可以灌溉；又峻急，多坻石，大舟不可入也。幽邃淺狹，蛟龍不屑，不能興雲雨，無以利世，而適類於余）這哪裡是在說溪，其實完全是詩人自身命運的寫照，緊接著柳宗元繼續說：現在我遇到有道明君，做事卻不合情理，所以所有的愚人都不如我愚蠢。這樣，天下的人都不能與我爭奪這溪水，我可以獨佔它並為它命名了。（今余遭有道而違於理，悖於事，故凡為愚者莫我若也。夫然，則天下莫能爭是溪，予得專而名焉。《愚溪詩序》）
柳宗元還為這「八愚」寫了《八愚詩》，此詩現已不傳，但是他寫愚溪的另外一首詩卻也可以看出此時作者詩人的心情：
少時陳力希公侯，許國不復為身謀。
風波一跌逝萬里，壯心瓦解空縲囚。
《冉溪（公易其名為愚溪者是也）》
剛到永州還不及半年，柳宗元便遭受了一個重大打擊：他的母親盧氏由於無法承受遠謫之苦去世了。柳宗元也對永州的氣候十分不適應，悲憤、痛苦，再加上幾次無情的火災，使詩人的健康受到極大影響，甚至到了「行則膝顫、坐則髀痺」的程度。處在絕望中的詩人幾乎給每一個朝廷大臣都寫了信，告訴他們自己的境況，請求幫助，但是大臣們嫉妒他的才華，沒有一個為他說話的。司馬遷在《報任安書》裡，寫到自己因李陵之禍下獄受腐刑時有一段慘痛悲愴的話：
家貧，財賂不足以自贖，交遊莫救，左右親近不為一言。
由輝煌的頂點驟然跌入災難的深淵時，是最可看出人情冷暖和世態炎涼的，柳宗元知道，也許，自己會在這蠻荒之地終老一生了。
可是，也許是命運的捉弄，柳宗元在永州待了十一年，正準備永遠在這裡待下去的時候，元和十年（815年）正月，柳宗元與劉禹錫被召回京了！對這次被召，柳宗元寄予了莫大的希望。他曾經在《寄許京兆孟容書》中，列舉了一大批古代賢人被貶之後又重新被起用的事實，藉以寄托自己對未來的期望。也許，此時的詩人認為自己人生的轉折點終於到來了。
柳宗元興沖沖地向京師趕去，走到長安城外灞橋，京城已經在望，柳宗元寫下了《詔追赴都二月至灞亭上》：
十一年前南渡客，
四千里外北歸人。
詔書許逐陽和至，
驛路開花處處新。
可是，詩人對境況的估計過於樂觀了。他們二月回到京城，三月就宣佈改貶，柳宗元改貶為柳州（今廣西柳州）刺史，劉禹錫為播州（今貴州遵義）刺史，比以前的貶所更加荒涼偏遠。可是，當柳宗元知道劉禹錫的貶所時，便想到播州比柳州更艱苦，劉禹錫還有八十歲的老母需要供養，自己母親的去世使柳宗元推己及人，主動多次上書朝廷，要求與劉禹錫交換貶所，後因宰相裴度說情，劉禹錫改貶連州，柳宗元這才動身前往柳州。
走到衡陽的時候，柳宗元與劉禹錫分別，詩人悲憤寫下了《衡陽與夢得分路贈別》
十年憔悴到秦京，誰料翻為嶺外行。
伏波故道風煙在，翁仲遺墟草樹平。
直以慵疏招物議，休將文字占時名。
今朝不用臨河別，垂淚千行便濯纓。
唐代的柳州十分落後荒涼，居民多為少數民族，生活窮困，語言不通。當地陋俗，用子女作為抵押向人借錢，如果到期還沒還錢，孩子就淪為奴婢。柳宗元到後，制訂了一套釋放奴婢的辦法，規定已經淪為奴婢的人，可以按時間結算工錢，抵債之後就可以回家和親人團聚，這個辦法不僅受到當地人的歡迎，甚至還推行到其他州縣。在柳州任上，柳宗元興辦學堂，推廣醫學，當地人迷信，不敢動土，柳宗元組織人力，破除迷信，為當地人打了多口井，興利除弊，造福一方。
可是，長期的貶謫生活已經使詩人的精神面臨崩潰的邊緣。在永州的時候，詩人就曾說：「孤臣淚已盡，虛作斷腸聲。」（《入黃溪聞猿》）在貶謫的日子裡，詩人無時無刻不在思念家鄉，懷念故園。春天到了，想起故園的池水碧波蕩漾，大概是在等待自己回家灌園，「悠悠故池水，空待灌園人」。春暖花開之時，詩人聽到黃鸝的啼叫，於是眼前猛然出現了故鄉的春意，勾起了無限的思鄉之情。「倦聞子規朝暮聲，不意忽有黃鸝鳴。一聲夢斷楚江曲，滿眼故園春意生」。（《聞黃鸝》）就連栽種一些花草，詩人都會想起久別的故鄉。「上苑年年占物華，飄零今日在天涯」。（《種木槲花》）
一天，詩人登上柳州城樓，北望中原，那個他永遠無法回歸的家園，那片他永遠也無法再踏上的土地，寫下了人生中最悲涼的詩章：
登柳州城樓寄漳汀封連四州刺史
城上高樓接大荒，海天愁思正茫茫。
驚風亂颭芙蓉水，密雨斜侵薜荔牆。
嶺樹重遮千里目，江流曲似九迴腸。
共來百粵紋身地，猶自音書滯一鄉。
在柳宗元被貶期間，他的好友吳武陵一直奔走於權臣裴度門下，設法讓朝廷允許柳宗元回京。元和十四年（819年），憲宗大赦天下，裴度為柳宗元說情，憲宗終於答應柳宗元回京。但是，詔書還沒到達柳州，柳宗元便帶著半生貶謫的悲涼和痛苦離開了人世，年僅四十七歲。柳宗元臨死的時候，將自己的遺稿交給了劉禹錫，劉禹錫後來編成《柳宗元集》。柳宗元去世時，兩個兒子柳週六、柳周七才三四歲，觀察使裴行立為柳宗元辦理了後事，並護送他的遺孀和孩子回京師，時人無不欽佩他的道義，也許，他是用這種方法，來表達對這位偉大而又命運多舛的詩人最後的敬意，也告慰詩人的在天之靈吧。