很多人不理解為什麼把罷官閒居以及失業無事稱作「賦閒」，「閒」容易明白，可是「賦」和「閒」又是怎麼扯到一起的呢？
這個疑問的答案很簡單，說出來會讓人感覺像腦筋急轉彎：西晉文學家潘岳寫了一篇賦，名叫《閒居賦》，「賦閒」即由此而來。
人們常常用「貌比潘安」來形容男人長得俊秀。潘安本名並不叫潘安，而叫潘岳，字安仁，小名檀奴，是西晉時期的著名文學家，出生於河南的中牟。那麼為什麼管他叫潘安呢？原來潘岳曾侍奉中國歷史上最醜最荒淫無恥的皇后賈南風，後人認為他愧對這個「安仁」中的「仁」字，就擅自把潘安仁的「仁」字去掉，改稱他潘安了。
潘岳在《閒居賦》中總結了自己做官的經歷：八次調換崗位，一次提陞官階，兩次被撤職，一次被除名，一次沒就任，三次被外放。如今已經五十歲了，辭官歸隱洛水之濱，栽花種菜，反思自己不得志的原因。潘岳最後找到的原因是自己過於「拙」，而不懂得「巧」的道理。於是潘岳棄「拙」取「巧」，依附上了賈南風，甚至每次碰見賈南風的母親外出，潘岳就主動把車停靠在路的左邊，下車望塵而拜，為時人所不恥。金代詩人元好問曾經寫詩諷刺潘岳：「高情千古《閒居賦》，爭信安仁拜路塵。」
不過，除了留下「賦閒」這個詞之外，潘岳的這篇賦還催生了蘇州拙政園的命名。《閒居賦》的序文中有一句「孝乎惟孝，友於兄弟，此亦拙者之為政也」，拙政園即由此命名，也算潘岳為後人做的一件好事吧。