俗話說「堡壘最容易從內部攻破」，這個「內部」就是指的家賊。沒有家賊引不來外鬼，欲要拒外鬼，必先揪家賊。這是千古不易的定律。
「家賊」一詞出自東漢著名天文學家張衡，不過張衡對這個詞的使用跟今天剛好相反。在《論衡·感類》篇中，張衡講了一個故事：華臣是春秋時期宋國的將軍，他的侄子叫華皋比，華臣對侄子虎視眈眈，想削弱侄子的勢力，侵奪他的財產。於是派出六名「家賊」，先殺了侄子的管家華吳，殺人的地點是在宋國執政官向戍家的屋後，使用的武器是短劍。向戍認為華臣是殺雞給自己看，是對自己的警告，因此很痛恨華臣，華臣生怕向戍發動突然襲擊報復自己，時刻有所防備。有一天，街上有一群人鼓噪著追逐一條瘋狗，瘋狗像沒頭蒼蠅一樣到處亂跑，跑進了華臣的家門，追趕的人大呼小叫著向華府奔來。華臣心裡有鬼，以為向戍終於動手了，趕緊翻牆逃跑。
華臣派出的六名「家賊」是指家裡豢養的刺客，豢養刺客是為己所用；然而「家賊難防」，往往是內部自己人造成的損害最難防範，危害也最大。
此後，史書上出現的「家賊」就數不勝數了，意思也都跟今天的一樣，指隱藏在內部的敵人。安祿山就死於「家賊」之手。安祿山稱帝后，原來患的眼疾漸漸加重，幾乎到了失明的地步，又加上患有毒瘡，脾氣越發暴躁，對身邊的隨從動不動就打罵，連兒子安慶緒也不例外。有天深夜，安祿山的心腹嚴莊夥同安慶緒和宦官李豬兒摸進安祿山的大帳，李豬兒手持大刀瘋狂砍斫安祿山。安祿山床頭常備一把刀，此時眼睛看不見，伸手就去摸刀，沒想到摸了一個空，刀早就被李豬兒等人偷走了。安祿山心中雪亮，大呼一聲：「是我家賊！」氣絕身亡。
宋代最有名的「家賊」是呂嘉問。王安石變法時，呂嘉問的堂祖父呂公弼是堅決的反對派，他寫了一封奏疏準備上呈宋神宗，依附王安石的呂嘉問看到這份文稿後，竟然偷了出來，帶給了王安石，王安石看後，向宋神宗上疏彈劾呂公弼，宋神宗十分惱怒，立刻將呂公弼調出朝廷，外放太原知府。從此，呂家的人就把呂嘉問稱作「家賊」，將他排除在家族之外。
宋代禪宗史書《五燈會元》中有段對話很有趣。有人問禪師：「家賊難防時如何？」禪師回答道：「識得不為冤。」禪師認為，「家賊」對主人造成了危害，但是主人豢養出了一個「家賊」卻對他沒有任何防備，不能說是冤枉，說得更刻薄一點，甚至是活該！這是對「家賊」和主人關係的深刻認識。