在今天的語境中，「順手牽羊」這個成語是一個不折不扣的貶義詞，順手把別人家的羊牽走，借用來比喻趁機拿走或者偷走別人的東西，跟「趁火打劫」是一個意思。如同本書中的大部分貶義詞一樣，這個成語同樣很冤枉，因為最初它根本就不是貶義詞，只是描述一種客觀狀態的中性詞。
「順手牽羊」最早的雛形出自《禮記·曲禮上》：「效馬效羊者右牽之，效犬者左牽之。」此處的「效」是進獻的意思，效馬、效羊、效犬就是進獻給對方馬、羊、犬，「右牽」、「左牽」是進獻的禮節。馬和羊為什麼要用右手牽著，而犬為什麼要用左手牽著呢？鄭玄的註解是：馬和羊用右手牽是因為「用右手便」，犬用左手牽是因為「犬齜嚙人，右手當禁備之」。總之，不管左手還是右手，古人習慣的用手方式跟今天沒有任何區別，即右手更靈便，勁兒更大。孔穎達則進一步解釋，更加清晰：「馬羊多力，人右手亦有力，故用右手牽掣之也。犬好齜嚙人，故左牽之，而右手防禦也。」因為右手相比左手來說更加靈便，因此俗語中就把右手稱作「順手」，取順便之意。如此看來，「順手牽羊」的最早語義其實僅僅是指用右手牽羊而已，並沒有後來的延伸義。
元明時期，通俗文學發達，「順手牽羊」以其形象性開始屢屢出現在各種文本之中，比如元代著名雜劇作家關漢卿所作《尉遲恭單鞭奪槊》，秦王李世民的弟弟李元吉嫉恨尉遲恭，在哥哥面前形容他和尉遲恭作戰，吹牛道：「我把右手帶住馬，左手揪著他眼扎毛，順手牽羊一般牽他回來了。」李世民不相信，讓二人同去演武場比試，結果只一個回合，李元吉的槊就被尉遲恭奪去，自己墜馬。這裡的「順手牽羊」一語使用的仍然是最早的語義。
因為「順手牽羊」太過容易，所以大約從清代開始，人們就把這個成語借用來比喻趁機偷東西，一直沿用到今天。