古代社會等級森嚴，連穿衣服都有各種各樣的限制，平民百姓只能穿麻布的衣服，不能穿絲綢錦繡，因此用“布衣”來指稱平民百姓。《荀子·大略》：“古之賢人，賤為布衣，貧為匹夫。”西漢學者桓寬在《鹽鐵論》一書中解釋道：“古者庶人耋老而後衣絲，其餘則麻枲而已，故命曰布衣。”麻枲（xǐ）即麻布衣服。七八十歲稱“耋”，也就是說平民百姓只有到了七八十歲才能穿絲綢衣服。我國古代盛產各種麻類，因此麻織品屬於最賤的布料，人人都穿得起。今天麻織品反而成了時尚，比棉布要貴多了，真是風水輪流轉啊！
西漢開國功臣很多都是“起自布衣”，稱作“布衣將相”，正如同陳勝的感歎：“王侯將相，寧有種乎！”“白丁”的稱謂出自“白徒”和“白屋”。白徒指沒有軍籍臨時徵集的壯丁；白屋指平民百姓居住的房屋。按照等級制，平民百姓的房屋不准塗飾彩繪，因此都露出了木材的本色，故稱“白屋”。還有一種說法是平民百姓只能用白茅草覆蓋屋頂，所以叫“白屋”。“丁”是對成年男子的稱呼，男子成年後要擔當賦役，這時開始稱為“丁”。成年的年齡標準歷朝歷代不太一樣，有四十為丁，有二十三歲為丁，有二十一歲為丁，有二十歲為丁。“白丁”意為臨時徵集的壯丁。不過那時還沒有這個稱謂，僅僅叫“白徒”，後來引申開去，把沒有功名沒有官職的平民一概叫作“白衣”。唐代參加科舉考試的舉子們因為是官員的後備軍，因此統稱之為“白衣公卿”。
“白丁”的正式稱謂始於唐代或者稍早，劉禹錫著名的文章《陋室銘》使“白丁”這一稱謂廣為人知：“談笑有鴻儒，往來無白丁。”“白丁”與“鴻儒”對舉，是指沒有學問的人。唐詩中有好幾處類似的稱謂，韋應物《采玉行》：“官府征白丁，言采藍溪玉。”這裡的“白丁”是指官府臨時征發的采玉工人。牟融《題朱慶余閒居四首》：“白丁門外遠，俗子眼前無。”“白丁”與“俗子”對舉，是指普通人。羅隱《中元甲子以辛丑駕幸蜀四首》：“白丁攘臂犯長安，翠輦蒼黃路屈盤。”這裡的“白丁”指黃巢等義軍，都出身平民。
搞笑的是，在今天的網絡語言中，用“白丁”一詞指那些不要孩子的丁剋夫妻半途反悔生育子女的行為，意思是“白白丁克了一回”，可發一笑！