尽管如此，我们还是能够从诸多针对人类性格的研究里得知，遗传因素和神经生物学上的差异不完全决定一个人的命运。生命的遗传基因就像一块未经雕琢的大理石，早在我们出生之前就有了，但在我们呱呱坠地以后，这个世界就拿起了刻刀，对我们进行雕刻，不管我们天生是哪块材料。遗传率的研究告诉我们，生物学上的影响（特别对反社会人格而言）最多只占一半。除了遗传因素，环境因素也能促成良知缺失，尽管我们目前依然不太明确这些影响到底是什么，但接下来我们也会探讨这一点。
在推测社会因素对反社会人格形成的影响时，我们凭直觉立即就会想到童年受虐。或许有些在遗传和神经方面具有反社会人格倾向的人最终会变成反社会人格者，而其他人却不会，因为成为反社会人格者的人可能小时候遭受过虐待，从而恶化了他们的心理状态，甚至影响到他们早已零落不堪的神经机能。毕竟我们已经确定，童年受虐会造成很多其他的负面后果，其中有普通的（与反社会人格无关的）少年犯罪和暴力、成年后的抑郁症、自杀、解离症以及意识割裂、厌食症、慢性焦虑症以及药物滥用。心理学和社会学方面的研究结果毋庸置疑地向我们表明，童年受虐对人类心理有很严重的毒害。
但把反社会人格归咎于早年受虐也不妥当，因为不同于与反社会人格无关的青少年犯罪以及普通的暴力行为，目前还没有令人信服的研究结果可以佐证反社会人格的核心特征（缺乏良知）与童年受虐有关。而且，反社会人格作为一个群体，并没有因童年受虐引起的悲剧后果（抑郁和焦虑）而饱受折磨，而我们从积累下来的大量重要研究证据中了解到，早年受到虐待的幸存者，不管他们有无触犯法律，都可以预见日后将会遭受这些负面结果的折磨。
事实上，已有证据表明，反社会人格者受早期经历的影响要小于正常人。例如，在罗伯特·黑尔的一项研究中，他用自己开发的精神病态检测表对美国监狱中的囚犯进行了诊断和统计分析，他发现对于那些诊断出精神病态的囚犯来说，童年时期的家庭生活质量对他们的犯罪时间并没有影响。不论他们的家庭生活是否稳定，精神病态囚犯第一次上法庭的平均年龄是14岁。相较之下，并未被确诊出精神病态的囚犯（也就是基本人格结构十分正常的那些囚犯）初次犯罪年龄跟家庭背景的好坏有很强的关联。过去拥有稳定生活的囚犯第一次上法庭的平均年龄是24岁，而家庭背景问题重重的囚犯第一次上法庭平均是15岁左右。换句话说，贫困的家境会孕育并催生普通的犯罪行为，这正如我们所料，但残酷无情的反社会人格者的犯罪行为都是自己一手造成的，而且犯罪时间也是他们自行安排的。
我们依旧在寻找影响反社会人格形成的环境因素，但很多研究人员已经从研究童年受虐本身转向研究依附障碍。正常的情感依附是与生俱来的，它由脑部的一个系统控制，让婴儿天生就能够亲近父母或任何在一旁照顾他们的人，由此让生平第一个人际关系得以建立。生平第一个人际关系的重要性不仅在于可以让婴儿存活下来，还在于它能够让婴儿尚未发育成熟的脑缘系统“使用”成人大脑的成熟机能来组织自身。当父母对婴儿投入感情的时候，婴儿的正面情感（如满足和高兴）便会得到鼓励发展，而潜在的负面情感（如挫败感和恐惧）就可以得到缓解。这种做法能够让婴儿获得秩序感和安全感，最终会深深印在婴儿的记忆当中。借用约翰·鲍比在其著作《依附与失落》（Attachment and Loss）中的话，它为婴儿的世界提供了一个“安全基础”（securebase）。
研究表明，婴儿期获得足够的情感依附会带来许多令人愉快的结果，包括情感自我调节的健康发展、自传式记忆以及对个人经历和行动的反思能力。最重要的一点也许在于，婴儿期的情感依附让个体在日后与他人的情感纽带得以建立。情感依附最早在婴儿7个月大时开始形成，而绝大多数婴儿都能够成功地依附于第一个照顾他们的人，从而发展出这些重要的能力。
情感依附障碍是一种悲惨的情况，如果一个人在婴儿期的时候，因为父母不称职（比如父母有严重的情感障碍）或是因为总是独处（比如在过去的孤儿院里）而破坏了情感依附，便会罹患此类障碍。有严重情感依附障碍的儿童和成人（他们在生命的前7个月中未能建立情感依附）没办法与他人建立情感纽带，因此生不如死。在极端的案例中，就像是在19世纪与20世纪初期在美国那些卫生状况超级良好的孤儿院里所发现的，为了达到完全无菌的理想状态，从来都没有跟人类接触过的婴儿，实际上相当容易夭折。那些婴儿全部离奇地患上一种希腊语中叫作marasmus（意思是“日益消瘦”），现在称为“非器质性发育不良”的疾病。孤儿院中没有接触过人类的婴儿几乎全部死亡。近几个世纪以来，发展心理学家和儿科医生已经弄清楚，拥抱、抚摸、亲吻和对婴儿讲话的行为至关重要，而如果没有这么做，后果会令人心碎。
在20世纪90年代早期收养罗马尼亚孤儿的大潮中，西欧和美国（讽刺的是，这两个地方是世界上最不喜欢身体触碰的社会）的许多家庭都经历了情感依附障碍所带来的悲伤和失落。1989年，罗马尼亚政权更迭，数百家孤儿院的可怕照片终于呈现在世人面前。这些孤儿院里孤儿和看护者的比例是40∶1，而且生活条件很不卫生，除了给这些婴儿和儿童提供活命的食物之外，就不会再管他们了。
最仁慈的对策似乎是让富裕的外国人尽量多收养这些孤儿。西欧和北美的好心人把罗马尼亚孤儿带回家，满怀爱意地要把他们抚养长大。可是后来法国巴黎的一对夫妇发现，他们10个月大的可爱的罗马尼亚女婴无法接受家人的安抚，当他们试图抱她的时候，她只会放声大哭。一对温哥华的夫妇走进他们3岁大的儿子的房间时发现，这孩子刚刚把出生不久的小猫摔出了窗外。美国得克萨斯州的一对父母收养的这个5岁的儿子整天盯着墙角，他们到最后不得不承认自己对改变此事无能为力，而且这个孩子偶尔会在半夜趁着大家熟睡时，恶意攻击其他孩子。因为在婴儿期完全被剥夺了情感依附，这些被解救出来的孩子大都失去了爱的能力。
2001年6月，罗马尼亚新一届政府颁布了一道禁止外国人收养本国孤儿的禁令。他们这么做的理由并非出于人道关怀，而是出于政治和财政上的考量。欧盟不久前刚刚宣布，一贫如洗的罗马尼亚因其孤儿的大量输出，已经沦为“儿童贩卖市场”。除非罗马尼亚当局终止这个在政治上不正确的海外收养活动，否则罗马尼亚无望加入当时已有15个成员国且经济繁荣的欧盟。在本文撰写时，已有超过4万名儿童（相当于一座小城市的人口）仍旧住在罗马尼亚的孤儿院里，而罗马尼亚希望能在2007年加入欧盟。
尤其是在罗马尼亚孤儿危机曝光以后，心理学家开始猜测情感依附障碍是否是反社会人格形成的环境根源。二者的相似之处非常明显。有情感依附障碍的儿童性格冲动、冷酷无情，对父母、兄弟姐妹、玩伴和宠物还会时而表现出危险的暴力倾向；他们有偷窃、故意破坏和纵火倾向；在少年阶段常进拘留所，而成年后就会被关进监狱，这都是与反社会人格者相同的表现。而有严重情感依附障碍的儿童，像反社会人格的儿童一样，是唯一一类能够让我们深深地感到恐惧的人。
世界各地的学者都注意到了这些相似之处。例如，在北欧的儿童精神病学里，有一种叫作“早期情感受挫”的病症，它被认为是母子之间缺乏相互联系造成的。在北欧，这个诊断术语（早期情感受挫）用来表示儿童在成年后罹患反社会人格障碍的概率高于平均水平。从统计数据上看，早期的情感受挫可能与母婴间难于建立情感依附的因素（如早产、出生时体重过轻以及母亲在孕期内滥用药物）有关。
这类研究的设计层面存在一些小问题。例如，某些因素（如母亲在孕期内滥用药物）不难让人推想到该孕妇可能是一名反社会人格者，因此这就又回到了遗传学的解释上。尽管情感依附障碍和反社会人格在科学上有着吸引人的共性，但把两者画等号的做法很值得商榷。这里的主要问题在于，情感依附障碍向来与反社会人格的标志性特征不同，这点不可否认。与反社会人格者很不相同的一点在于，在情感依附障碍的儿童或成人中鲜见魅力超群者，他们也没有玩转人际关系的智慧。相反，这些不幸的人通常都有点令人厌恶，而且他们也不会在“伪装”正常人上花任何心思。很多有情感依附障碍的人都很孤僻，他们的情感表现平淡而又乏味，有时候甚至带着明显的敌意，而且他们往往是好斗成性、麻木不仁、毫无魅力的极端分子，再不就是贫困潦倒、难以为继的穷光蛋。情感依附障碍者的这些特质使其缺乏反社会人格者大多能具备的变色龙一般的支配手腕、欺骗技巧、迷人微笑以及消解他人敌意的领导魅力，也没办法让他们像善于交际的反社会人格者一样，在物质世界里接连不断地取得成功。
很多临床医生和家长都表示，具有反社会人格的儿童不愿与家人建立温馨融洽的关系。他们在情感上或生理上有逃避的倾向。当然，有情感依附障碍的儿童也是如此。但跟这些不幸的依附障碍儿童的情况极为不同，具有反社会人格的儿童与家人关系的疏离，更像是他们所选择的生存方式导致的结果，而不是原因。
综上所述，我们对反社会人格者在神经生物学方面的缺陷已经有了一个大致了解。有关反社会人格者的研究表明，他们大脑皮层处理情感信息的能力有明显失常。我们可以从遗传率的研究中推断，以神经生物学为基础的反社会人格者的核心人格特质最多有50%来自遗传，而剩下50%的来源就不是很清楚了。童年受虐和依附障碍都无法构成影响反社会人格（心理学家把没有爱的能力、喜欢操纵别人、毫无负罪感定义为反社会人格）形成的环境因素。遗传以外的因素肯定对反社会人格的形成和发展有影响，但到底是如何影响的，我们依旧不得而知。一个悬而未决的问题是：如果一个孩子生下来，神经便出现了这种状况，那么哪些环境因素会决定这个孩子表现出彻底的反社会人格症状？我们目前对此还一无所知。