當年崔郾答應了吳武陵，將杜牧定為進士第五名。但是吳武陵走了之後就有人提出異議：「據說杜牧行為有些不檢點，錄為進士恐怕不大好？」崔郾有些後悔，只好說：「我已經答應吳大人了，即使杜牧是個屠狗的我也只好錄取他。」看來，杜牧的不拘細行在當時就為人所知了。
杜牧進士及第，又舉賢良方正科，被授予弘文館校書郎官職，試左武衛兵曹參軍。當年冬季，他就入江西觀察使沈傳師幕府做幕僚。大和七年（833年），淮南節度使牛僧孺辟杜牧為推官，不久讓杜牧擔任他的掌書記。牛僧孺治所在揚州。唐代的揚州，已是海內聞名的繁華都會。物阜民豐，人傑地靈。杜牧有一首著名的《江南春絕句》即是讚賞揚州的美麗景色：
千里鶯啼綠映紅，
水村山郭酒旗風。
南朝四百八十寺，
多少樓台煙雨中。
不過，杜牧最喜歡的，顯然不是到古寺去與高僧談佛論禪，也不是流連山水，醉吟江山，他之所好，似乎正在這濛濛「煙雨」中。
自古江南多美女，據說杜牧在揚州的時候，最愛流連青樓妓館，「好歌舞，風情頗張，不能自遏」。（《唐才子傳》）上司牛僧孺知道杜牧的這個愛好，卻不點破。由於擔心杜牧經常出入這些是非之地引起麻煩，他甚至暗中派數十人穿便服尾隨杜牧，負責其安全。
大和九年（835年），杜牧任職期滿，將調到京城任監察御史。在餞別宴會上，牛僧孺說：「老弟才華蓋世，日後定有更大作為，只是要注意行為檢點。」杜牧不知上司何意，裝作一臉無辜地說：「我一直比較注意自己的品行。」牛僧孺微微一笑，叫下人拿來一個盒子，打開一看，裡面全是牛僧孺派去保護杜牧的手下寫的報告：「某日晚，杜書記宿某娼家，無事。」杜牧看了之後，滿臉羞愧，連忙拜謝。
據說杜牧相貌英俊，再加上才華蓋世，因此在當時聲名極大，以至於家裡有美女的都害怕杜牧到自己家裡來。當時李司徒閒居在家，一日大宴賓客。由於李司徒家有一名歌伎冠絕當世，於是借口杜牧掌管官員監察，不好請他來，其實他根本就不敢邀請杜牧前來，免生是非。杜牧知道之後很不高興，叫人暗示李司徒請自己。無奈之下，李司徒只好發出邀請，引狼入室。杜牧到了之後，終於見到了這位絕色女子，還大大咧咧起來賦詩一首：
華堂今日綺宴開，
誰喚分司御史來。
忽發狂言驚四座，
兩行紅粉一時回。
意氣閒逸，旁若無人，滿座皆驚。
杜牧對美麗女子的追求甚至到了「購買期貨」的境界。據說他在湖州時，一次看到一個年方十歲的女子，十分滿意。於是與其家人約好，十年之後來迎娶，還預付了聘禮。說十年之後如果不來，女子可自嫁人。誰知道離開湖州之後仕途不順，直到十四年後才做湖州刺史。打聽那位女子時，才知道她已經嫁人，都生了兩個孩子了。杜牧無限惆悵：
悵 詩
自恨尋訪去較遲，
不須惆悵怨芳時。
如今風擺花狼藉，
綠葉成陰子滿枝。
這個故事是否屬實已經無從查考，但是杜牧才子風流放浪形骸倒是有據可查的。當他要離開揚州的時候，想必心裡是充滿了依依不捨之情的。
贈別 其二
多情卻似總無情，
唯覺尊前笑不成。
蠟燭有心還惜別，
替人垂淚到天明。
離開揚州很久以後，杜牧寫詩給還在揚州的判官韓綽：「二十四橋明月夜，玉人何處教吹簫？」揚州已經成為詩人生命中永恆的記憶，再也無法抹去了吧？多年以後，杜牧寫了一首《遣懷》，也算是對他揚州十年的一個總結：
落魄江湖載酒行，
楚腰纖細掌中輕。
十年一覺揚州夢，
贏得青樓薄倖名。