「斤斤計較」意思是對瑣碎細小、無關緊要的事情過分計較。這裡的「斤」不是指一斤兩斤，「斤斤計較」也不是對一斤兩斤過分計較，「斤斤」是形容明察秋毫的樣子，由此可知，「斤斤計較」本來是個褒義詞，現在卻變成了貶義詞。
「斤」的本義是伐木的斧子，引申為砍削，當動詞使用。砍削的時候自然要看得分明，否則一不留神就會砍到自己的手，因此「斤斤」引申為明察之意。這個詞出自《詩經·執競》。《執競》是合祭周武王、成王和康王的詩篇，其中稱頌「自彼成康，奄有四方，斤斤其明」，意思是從成王和康王的時代起，擴張領土，擁有了天下四方，得益於成康的英明善察。《漢書·敘傳》中也有「平津斤斤」的記載，表揚平津侯公孫弘明察秋毫。
經過漫長的語義演變，「斤斤」跟「計較」連用到了一起，成了一個貶義的成語。「斤斤計較」有個同義詞「錙銖必較」，不過跟「斤斤」相反，這個成語中的「錙銖」倒是計量單位，「錙」是一兩的四分之一，「銖」是一兩的二十四分之一，因此「錙銖」比喻極其微小的數量。