在人們的日常口語中，形容一個人是當兵的出身常常說「行伍出身」。「行伍」為什麼能指當兵呢？很多人都語焉不詳。
「伍」是一個會意字，從人，從五，本義是五人構成一個集體，五人為「伍」。古代的戶籍制度和軍隊建制都以「伍」為最小單位，五家編為一伍，因此平民的戶籍稱作「伍籍」。軍隊建制則是五名士兵編為一伍，一伍設長官一名，稱作「伍長」或「伍伯」。今天管參軍叫「入伍」，就因為「伍」是軍隊的最小單位，參軍要從這個最小的單位做起，故以「入伍」指稱參軍。
《孫子兵法·謀攻》篇中說：「用兵之法，全國為上，破國次之；全軍為上，破軍次之；全旅為上，破旅次之；全卒為上，破卒次之；全伍為上，破伍次之。」這裡的「全」是動詞，保全。孫子所說的用兵之法是指少殺人，以保全對方的兵力，使敵軍投降為上策，所謂「不戰而屈人之兵也」。「伍」是最小單位；百人為一「卒」，長官稱「卒長」；五百人為一「旅」，長官稱「旅長」；「軍」是最大的編制單位，春秋時期，大的諸侯國常設上、中、下三軍，人數多少不一，大致在一萬人以上。
五伍稱作「行（hang）」，也就是說一行是二十五人，故以「行伍」代表軍隊。又直排為「行」，橫排為「列」，故有「行列」一詞。賈誼《過秦論》描述陳涉「躡足行伍之間」雖然指陳涉乃軍人出身，但強調的是他處於軍隊的最低層，後來不管是士兵還是軍官一律以「行伍出身」指稱了。