林沖的妻子遭人調戲，林沖趕到後正待下拳，一看是高太尉之子高衙內，只好隱忍。這時的民間早已把高幹子弟統稱為「衙內」了。
「衙內」本來寫作「牙內」，起源於一種官職。五代和北宋初年，藩鎮的親衛官的官銜是牙內都指揮使和牙內都虞侯，因為是藩鎮的貼身護衛，職責是保護藩鎮的安全，因此不敢隨便用人，都起用官宦人家的子弟擔任，只有這樣才能放心，慢慢地就把官僚子弟稱作「牙內」。
「牙內」之所以演變成「衙內」，跟「衙門」一詞一樣。「衙門」其實是「牙門」，後來大概覺得「牙」這個字不好看，於是採用同音字「衙」來替代了。「牙」特指象牙，古時候天子出行，要建「牙旗」，即在旗上飾以象牙，然後豎立起來，代表「門」，稱「牙門」。牙旗遠較其他的旗高大，以顯示權威。這一制度始見於漢，張衡的《東京賦》中寫道：「戈矛若林，牙旗繽紛。」後來牙旗逐漸從天子專用轉而成為軍營的大旗，「牙」也不再專限於象牙，別的猛獸的牙也可以裝飾在旗上。牙旗是軍營中最具有權威性的旗幟，傳達和聽取號令的時候，一定要聚集在牙旗下。
從隋唐時期開始，「牙門」一詞的使用開始寬泛起來。封演的《封氏聞見記》載：「近俗尚武，是以通呼公府為公牙，府門為牙門。字稍謬訛變，轉而為衙也。」從此之後，「牙門」變成了「衙門」，軍事性質的「牙門」轉變為官府的代稱。
「衙門」雖然是官府的代稱，但只是民間的俗語，正式的官府從來沒有使用過「衙門」這一稱謂，惟一的例外出現在晚清，1861年咸豐皇帝批准成立了「總理各國事務衙門」，簡稱「總理衙門」，是清政府為辦理洋務及外交事務而特設的中央機構。
同理，衙門裡的差役稱「衙役」，也是由「牙役」訛變而來。