“五更”是漢代開始通行的夜間計時制度，一夜分為五個更次，每個更次大約兩個小時。“五更”也叫“五夜”，最初以甲、乙、丙、丁、戊命名，稱作甲夜、乙夜、丙夜、丁夜、戊夜。又叫“五鼓”，更夫用鼓打更報時。宮廷巡夜的警衛交接班，都以五夜來劃分安排，聞鼓聲交接班。
“三更”是指夜晚十一點至一點，因此“三更”就是“半夜”。那麼，為什麼把“三更”和“半夜”連用呢？這豈不是重複了嗎？原來，“三更半夜”這個俗語有陰謀的含義在裡面。
“三更半夜”一語出自《宋史·趙昌言傳》。朋黨是中國古代官僚集團特有的現象，士大夫們為了爭取利益最大化，或者為了政治理想的實施，朋比結黨。其中因科舉而結成的朋黨叫“科甲朋黨”，“科甲朋黨”是宋代以後最重要，最引人注目的朋黨。宋太宗太平興國三年（978年）有三人都中了進士，狀元是胡旦，省元（第三名）是趙昌言，同榜中還有一位叫董儼。三個人都做了官，胡旦任起草詔令的知制誥，趙昌言任工部侍郎，董儼任掌管財政收支的度支副使。趙昌言和時任掌管鹽、鐵、茶專賣和徵稅事宜的鹽鐵副使陳象輿關係很好，因此，雖然陳象輿不是趙昌言同年進士，但也加入了“四人幫”小集團，結成了“科甲朋黨”，成為當朝一支重要的政治勢力，他們的主要政敵是當朝宰相趙普和太子元僖。
這個“四人幫”小集團的活動異常頻繁，不管白天深夜，總是聚集在趙昌言的府中商討政事。由於是公開結黨，因此朝野上下都知道這個小集團，京城民謠稱之為“陳三更，董半夜”。這個小集團指使傭書人翟穎上書詆毀時政，並且狂妄地自薦為大臣，又舉薦可以充任輔臣的十人。結果是宰相趙普流放了翟穎，同時將四人全部貶官，這個“三更半夜”的科甲朋黨被一網打盡。
從此之後，“三更半夜”就成為一個固定用語，指深夜，同時含有貶義成分，比如壞了良心的人會招致“半夜三更鬼敲門”。