儘管如此，我們還是能夠從諸多針對人類性格的研究裡得知，遺傳因素和神經生物學上的差異不完全決定一個人的命運。生命的遺傳基因就像一塊未經雕琢的大理石，早在我們出生之前就有了，但在我們呱呱墜地以後，這個世界就拿起了刻刀，對我們進行雕刻，不管我們天生是哪塊材料。遺傳率的研究告訴我們，生物學上的影響（特別對反社會人格而言）最多只佔一半。除了遺傳因素，環境因素也能促成良知缺失，儘管我們目前依然不太明確這些影響到底是什麼，但接下來我們也會探討這一點。
在推測社會因素對反社會人格形成的影響時，我們憑直覺立即就會想到童年受虐。或許有些在遺傳和神經方面具有反社會人格傾向的人最終會變成反社會人格者，而其他人卻不會，因為成為反社會人格者的人可能小時候遭受過虐待，從而惡化了他們的心理狀態，甚至影響到他們早已零落不堪的神經機能。畢竟我們已經確定，童年受虐會造成很多其他的負面後果，其中有普通的（與反社會人格無關的）少年犯罪和暴力、成年後的抑鬱症、自殺、解離症以及意識割裂、厭食症、慢性焦慮症以及藥物濫用。心理學和社會學方面的研究結果毋庸置疑地向我們表明，童年受虐對人類心理有很嚴重的毒害。
但把反社會人格歸咎於早年受虐也不妥當，因為不同於與反社會人格無關的青少年犯罪以及普通的暴力行為，目前還沒有令人信服的研究結果可以佐證反社會人格的核心特徵（缺乏良知）與童年受虐有關。而且，反社會人格作為一個群體，並沒有因童年受虐引起的悲劇後果（抑鬱和焦慮）而飽受折磨，而我們從積累下來的大量重要研究證據中瞭解到，早年受到虐待的倖存者，不管他們有無觸犯法律，都可以預見日後將會遭受這些負面結果的折磨。
事實上，已有證據表明，反社會人格者受早期經歷的影響要小於正常人。例如，在羅伯特·黑爾的一項研究中，他用自己開發的精神病態檢測表對美國監獄中的囚犯進行了診斷和統計分析，他發現對於那些診斷出精神病態的囚犯來說，童年時期的家庭生活質量對他們的犯罪時間並沒有影響。不論他們的家庭生活是否穩定，精神病態囚犯第一次上法庭的平均年齡是14歲。相較之下，並未被確診出精神病態的囚犯（也就是基本人格結構十分正常的那些囚犯）初次犯罪年齡跟家庭背景的好壞有很強的關聯。過去擁有穩定生活的囚犯第一次上法庭的平均年齡是24歲，而家庭背景問題重重的囚犯第一次上法庭平均是15歲左右。換句話說，貧困的家境會孕育並催生普通的犯罪行為，這正如我們所料，但殘酷無情的反社會人格者的犯罪行為都是自己一手造成的，而且犯罪時間也是他們自行安排的。
我們依舊在尋找影響反社會人格形成的環境因素，但很多研究人員已經從研究童年受虐本身轉向研究依附障礙。正常的情感依附是與生俱來的，它由腦部的一個系統控制，讓嬰兒天生就能夠親近父母或任何在一旁照顧他們的人，由此讓生平第一個人際關係得以建立。生平第一個人際關係的重要性不僅在於可以讓嬰兒存活下來，還在於它能夠讓嬰兒尚未發育成熟的腦緣系統「使用」成人大腦的成熟機能來組織自身。當父母對嬰兒投入感情的時候，嬰兒的正面情感（如滿足和高興）便會得到鼓勵發展，而潛在的負面情感（如挫敗感和恐懼）就可以得到緩解。這種做法能夠讓嬰兒獲得秩序感和安全感，最終會深深印在嬰兒的記憶當中。借用約翰·鮑比在其著作《依附與失落》（Attachment and Loss）中的話，它為嬰兒的世界提供了一個「安全基礎」（securebase）。
研究表明，嬰兒期獲得足夠的情感依附會帶來許多令人愉快的結果，包括情感自我調節的健康發展、自傳式記憶以及對個人經歷和行動的反思能力。最重要的一點也許在於，嬰兒期的情感依附讓個體在日後與他人的情感紐帶得以建立。情感依附最早在嬰兒7個月大時開始形成，而絕大多數嬰兒都能夠成功地依附於第一個照顧他們的人，從而發展出這些重要的能力。
情感依附障礙是一種悲慘的情況，如果一個人在嬰兒期的時候，因為父母不稱職（比如父母有嚴重的情感障礙）或是因為總是獨處（比如在過去的孤兒院裡）而破壞了情感依附，便會罹患此類障礙。有嚴重情感依附障礙的兒童和成人（他們在生命的前7個月中未能建立情感依附）沒辦法與他人建立情感紐帶，因此生不如死。在極端的案例中，就像是在19世紀與20世紀初期在美國那些衛生狀況超級良好的孤兒院裡所發現的，為了達到完全無菌的理想狀態，從來都沒有跟人類接觸過的嬰兒，實際上相當容易夭折。那些嬰兒全部離奇地患上一種希臘語中叫作marasmus（意思是「日益消瘦」），現在稱為「非器質性發育不良」的疾病。孤兒院中沒有接觸過人類的嬰兒幾乎全部死亡。近幾個世紀以來，發展心理學家和兒科醫生已經弄清楚，擁抱、撫摸、親吻和對嬰兒講話的行為至關重要，而如果沒有這麼做，後果會令人心碎。
在20世紀90年代早期收養羅馬尼亞孤兒的大潮中，西歐和美國（諷刺的是，這兩個地方是世界上最不喜歡身體觸碰的社會）的許多家庭都經歷了情感依附障礙所帶來的悲傷和失落。1989年，羅馬尼亞政權更迭，數百家孤兒院的可怕照片終於呈現在世人面前。這些孤兒院裡孤兒和看護者的比例是40︰1，而且生活條件很不衛生，除了給這些嬰兒和兒童提供活命的食物之外，就不會再管他們了。
最仁慈的對策似乎是讓富裕的外國人盡量多收養這些孤兒。西歐和北美的好心人把羅馬尼亞孤兒帶回家，滿懷愛意地要把他們撫養長大。可是後來法國巴黎的一對夫婦發現，他們10個月大的可愛的羅馬尼亞女嬰無法接受家人的安撫，當他們試圖抱她的時候，她只會放聲大哭。一對溫哥華的夫婦走進他們3歲大的兒子的房間時發現，這孩子剛剛把出生不久的小貓摔出了窗外。美國得克薩斯州的一對父母收養的這個5歲的兒子整天盯著牆角，他們到最後不得不承認自己對改變此事無能為力，而且這個孩子偶爾會在半夜趁著大家熟睡時，惡意攻擊其他孩子。因為在嬰兒期完全被剝奪了情感依附，這些被解救出來的孩子大都失去了愛的能力。
2001年6月，羅馬尼亞新一屆政府頒布了一道禁止外國人收養本國孤兒的禁令。他們這麼做的理由並非出於人道關懷，而是出於政治和財政上的考量。歐盟不久前剛剛宣佈，一貧如洗的羅馬尼亞因其孤兒的大量輸出，已經淪為「兒童販賣市場」。除非羅馬尼亞當局終止這個在政治上不正確的海外收養活動，否則羅馬尼亞無望加入當時已有15個成員國且經濟繁榮的歐盟。在本文撰寫時，已有超過4萬名兒童（相當於一座小城市的人口）仍舊住在羅馬尼亞的孤兒院裡，而羅馬尼亞希望能在2007年加入歐盟。
尤其是在羅馬尼亞孤兒危機曝光以後，心理學家開始猜測情感依附障礙是否是反社會人格形成的環境根源。二者的相似之處非常明顯。有情感依附障礙的兒童性格衝動、冷酷無情，對父母、兄弟姐妹、玩伴和寵物還會時而表現出危險的暴力傾向；他們有偷竊、故意破壞和縱火傾向；在少年階段常進拘留所，而成年後就會被關進監獄，這都是與反社會人格者相同的表現。而有嚴重情感依附障礙的兒童，像反社會人格的兒童一樣，是唯一一類能夠讓我們深深地感到恐懼的人。
世界各地的學者都注意到了這些相似之處。例如，在北歐的兒童精神病學裡，有一種叫作「早期情感受挫」的病症，它被認為是母子之間缺乏相互聯繫造成的。在北歐，這個診斷術語（早期情感受挫）用來表示兒童在成年後罹患反社會人格障礙的概率高於平均水平。從統計數據上看，早期的情感受挫可能與母嬰間難於建立情感依附的因素（如早產、出生時體重過輕以及母親在孕期內濫用藥物）有關。
這類研究的設計層面存在一些小問題。例如，某些因素（如母親在孕期內濫用藥物）不難讓人推想到該孕婦可能是一名反社會人格者，因此這就又回到了遺傳學的解釋上。儘管情感依附障礙和反社會人格在科學上有著吸引人的共性，但把兩者畫等號的做法很值得商榷。這裡的主要問題在於，情感依附障礙向來與反社會人格的標誌性特徵不同，這點不可否認。與反社會人格者很不相同的一點在於，在情感依附障礙的兒童或成人中鮮見魅力超群者，他們也沒有玩轉人際關係的智慧。相反，這些不幸的人通常都有點令人厭惡，而且他們也不會在「偽裝」正常人上花任何心思。很多有情感依附障礙的人都很孤僻，他們的情感表現平淡而又乏味，有時候甚至帶著明顯的敵意，而且他們往往是好鬥成性、麻木不仁、毫無魅力的極端分子，再不就是貧困潦倒、難以為繼的窮光蛋。情感依附障礙者的這些特質使其缺乏反社會人格者大多能具備的變色龍一般的支配手腕、欺騙技巧、迷人微笑以及消解他人敵意的領導魅力，也沒辦法讓他們像善於交際的反社會人格者一樣，在物質世界裡接連不斷地取得成功。
很多臨床醫生和家長都表示，具有反社會人格的兒童不願與家人建立溫馨融洽的關係。他們在情感上或生理上有逃避的傾向。當然，有情感依附障礙的兒童也是如此。但跟這些不幸的依附障礙兒童的情況極為不同，具有反社會人格的兒童與家人關係的疏離，更像是他們所選擇的生存方式導致的結果，而不是原因。
綜上所述，我們對反社會人格者在神經生物學方面的缺陷已經有了一個大致瞭解。有關反社會人格者的研究表明，他們大腦皮層處理情感信息的能力有明顯失常。我們可以從遺傳率的研究中推斷，以神經生物學為基礎的反社會人格者的核心人格特質最多有50%來自遺傳，而剩下50%的來源就不是很清楚了。童年受虐和依附障礙都無法構成影響反社會人格（心理學家把沒有愛的能力、喜歡操縱別人、毫無負罪感定義為反社會人格）形成的環境因素。遺傳以外的因素肯定對反社會人格的形成和發展有影響，但到底是如何影響的，我們依舊不得而知。一個懸而未決的問題是：如果一個孩子生下來，神經便出現了這種狀況，那麼哪些環境因素會決定這個孩子表現出徹底的反社會人格症狀？我們目前對此還一無所知。