「斯文掃地」既指不尊重文化人，也用來形容文化人自甘墮落。要講清楚「斯文掃地」的來源，先要把「斯文」和「掃地」分開來講。
「斯文」一詞出自《論語·子罕》。有一年，孔子從衛國去陳國，路經「匡」這個地方，匡人曾經遭受過魯國權臣陽虎的掠奪和殘殺，孔子和陽虎的相貌非常相像，匡人還以為孔子就是陽虎呢，就把孔子圍困了五天。孔子飢餓交加，歎息道：「文王既沒，文不在茲乎？天之將喪斯文也，後死者不得與於斯文也；天之未喪斯文也，匡人其如予何？」這段話的意思是：周文王死了之後，周代的禮樂文化不都體現在我的身上嗎？上天如果想要消滅這種文化，後人就不會掌握這種文化了；上天如果不想消滅這種文化，匡人又能把我怎麼樣呢？這裡的「文」指周代的禮樂教化和典章制度，「斯」是「此」的通假字，意為這、這個、這種，「斯文」即這種文化。後來就用「斯文」一詞指稱文化人，進而用作形容詞，比喻人溫文爾雅的樣子。
「掃地」從打掃地面引申為除盡、丟光，比如揚雄的《羽獵賦》：「軍驚師駭，刮野掃地。」李善註：「言殺獲皆盡，野地似乎掃刮也。」「掃地」一詞用在人身上始於漢代。班固在《漢書》中感歎道：「秦滅六國，而上古遺烈掃地盡矣。」「遺烈」指炎黃堯舜時期的剛強之士，秦滅六國之後，這些上古之士全部滅絕了。
唐代有一個著名的「掃地」故事。祝欽明是唐中宗時期的禮部尚書，有一次中宗跟群臣一起聚餐，祝欽明聲稱自己會跳「八風舞」，中宗就請他跳給大家看。祝欽明是個大胖子，只見他搖頭擺尾，瞪圓了雙眼，左顧右盼，舞姿可想而知有多麼醜陋，惹得中宗大笑不已。旁邊的吏部侍郎盧藏用歎息道：「是舉五經掃地矣！」「五經」即《詩》《書》《易》《禮》《春秋》這五部儒家經典，泛指文化，盧藏用因此感歎祝欽明此舉丟人現眼，把文化人應該保有的風度盡皆丟光了。
杜甫有「豪俊何人在，文章掃地無」的詩句，也是這個意思，而黃庭堅「風流掃地無尋處」的詩句更接近「斯文掃地」一詞。
大約從清代開始，「斯文」和「掃地」開始連用，跟今天的意思一模一樣。清初學者褚人獲就在文章中寫過：「徒使斯文掃地，豈知富貴在天。」