克萊因出生於1928年的紐約，他的父親曾擁有一家服裝店，在他出生的第二年，因為經濟不景氣而破產，自此克萊因的父親就靠銷售保險給有錢的親戚維生。
克萊因從小就面對富有的親戚，過著極度窮苦的日子，孩提時代就充滿被摒棄的感覺，也因為這樣養成自我放逐的性格。
十四歲的時候，極度聰明的克萊因成績優異，提早三年從中學畢業，進入紐約市立大學。在畢業的前一年，他決定放棄學位而加入陸軍。這是他自我放逐性格的首次顯露，他很高興自己的選擇：
那是一段好日子，有生以來第一次能遠離家庭，不必和女孩子約會，我享受這種生活。
1948年，他剛滿二十歲就離開美國，把自己放逐在巴黎，過著藝術家的流浪生活。
克萊因先是在巴黎的Sorbonne學習繪畫，並拿到學位，娶了同年齡的法國女子為妻。當時對他日後的事業最有影響的，是他跟隨萊熱習畫的一段時間。他說：
從萊熱身上，我學到一種對機械旋律的品位，和任何事情都可行的觀念。
克萊因從萊熱身上所受到的影響並不是畫風，他的畫沒有半點萊熱的社會意識和工業時代的機械美感，他一開始就畫硬邊抽像，才出道就頗被看好。如果他在繪畫上繼續發展的話，很可能現在是個不可等閒視之的重要角色。
No.1 紐約，1955
No.2 舞，1955
No.3 莫斯科基輔火車站，1959
克萊因走上攝影之路是很偶然的事。1952年，他的油畫作品在米蘭展出，當時克萊因正迷戀於線條、形體的變化，以幾何圖案做大幅壁畫。意大利的名建築師Margiaroffi正好看到他的展出，建議他將這一張張大畫擺成可以移動的隔板，拼成走道房間，創造出更多組合的可能。
當克萊因的「建築繪畫」擺出來之後，他為了留念而拍了幾張照片，就這樣蹣跚走入了攝影。其實這也是他的自我放逐性格所造成的，因為他覺得他在繪畫上的表現已經跨出了一步，就不再搞下去了，寧可把自己丟在新的浪濤中，隨波逐流。