哺乳动物的中枢神经系统具有性二态性（sexual dimorphism）。女性中枢神经系统的胆碱能系统对应激的反应性要明显强于男性。除了内在因素外，年龄、激素和环境因素对中枢神经系统中的性二态性及其功能有明显影响。
在青春期发育前，中枢神经系统抑制GnRH发生器的活动，而营养不良、低社会地位、经济落后、应激和精神刺激等均可导致青春期发育延迟；在生殖阶段，各种应激对生殖功能的影响很突出，应激通过CRH抑制GnRH的释放导致精神-心理性性腺功能减退症，而CRH又受阿片肽系统的调节，限制进食、体重减轻（如神经性厌食）、肥胖、吸烟和嗜酒对GnRH的脉冲性分泌均起抑制作用。不少地区在过去的50年里，男性精液的质量下降，精液量和正常精子数目减少，而泌尿生殖系统疾病，如尿道下裂和隐睾等的发病率上升，睾丸肿瘤在一些地区的发病率也增加。可能与环境污染和雌激素污染有一定关系。而女性的乳腺癌可能与有机氯化物（organochlorines）、离子辐射及电磁辐射和被动吸烟等因素有关。
营养不良和慢性疾病引起男性性发育迟缓
常见于慢性肾衰竭、Crohn病以及青少年特发性关节炎等。由于营养消耗、炎症因子增高和糖皮质激素的使用，常抑制生长激素和促性腺激素分泌，导致发育迟缓。此外，某些特殊贫血如地中海贫血等，由于铁质负荷增加，常引起低促性腺激素性性腺功能减退症，严重病例性腺功能出现不可逆性损害，表现为GnRH注射后无法恢复促性腺激素的水平和脉冲。部分患者MRI显示有空泡蝶鞍综合征、垂体容量减小、垂体腺萎缩、垂体柄变薄、垂体和中脑有铁质沉着等。上述疾病往往在原发病典型的临床表现基础上，伴有青春期发育延迟表现。
理化因素干扰男性生殖生育功能
空气污染已经成为全球性健康问题。一些流行病学调查发现，空气污染对生殖功能的危害很突出，一般主要与不育和胎儿健康状况相关，如出生低体重、宫内发育生长迟缓和性早熟等。
对男性生育功能有明显影响的理化因素有：
- 有毒化合物：如农药、杀虫剂、二硫化碳、硼、汞和铅等。刘星等通过邻苯二甲酸二（2-乙基己基）酯［DEHP］成功诱导建立了先天性尿道下裂小鼠模型；该课题组还发现DEHP通过影响3种甲基化转移酶的表达而导致基因组DNA甲基化水平升高，从而抑制睾丸下降过程中多种基因的表达，从而诱发隐睾。
- 药物：如绝大多数的化疗药物，抗高血压药物螺内酯（安体舒通）、胍乙啶、普萘洛尔（心得安）和利尿剂等，激素（雄激素和雌激素等），镇静剂和吸食鸦片或海洛因等有导致男性不育的不良反应。
- 不良生活习惯：如长期吸烟者，精子胞质出现异常小滴状物（可能为精子功能受损所致）。长期穿紧身衣裤使阴囊调节温度功能障碍，而影响生精功能。长期大量饮酒造成慢性酒精中毒的男性易发生性功能障碍。过热的热水浴使睾丸温度过高，不利于精子发育。
- 营养不良：包括蛋白质、卵磷脂以及维生素和微量元素。因此，营养不良和偏食，特别是维生素E的缺乏，也是导致不育症的重要原因。
- 肥胖（尤其是儿童期肥胖）：影响生殖腺的发育，同时伴有其他内分泌系统功能的紊乱，最终会导致不育症。
- 微量元素缺乏：是男性不育的病因之一。在精浆中，微量元素（如锌、锰和硒）按一定比例存在，并相互协同、置换或拮抗，以保持精子的正常生理功能，微量元素间相互作用的紊乱或含量不足是导致男性不育症的重要原因之一。
- 高温：可影响阴囊的热丧失，导致睾丸温度升高，可损伤男性生育力。人工隐睾（artifical cryptorchidism）或局部热处理可诱导精细胞凋亡，引起可逆性精子减少/无精子症，这是男性避孕的理论基础。
- 电磁辐射：男性的睾丸对电磁辐射高度敏感，某些电磁辐射可引起不育。
生殖系统疾病导致男性不育
过多骑马和骑车容易造成睾丸、附睾和前列腺的急性损伤和慢性充血，影响精子的生成和发育。生殖系统感染可影响精子的发生、活力和输送。感染还导致生精功能抑制和引起精液分泌不足，精液营养缺乏，酸碱度改变或液化不足，使精子存活率下降。
精索静脉曲张
可以引起睾丸局部温度增高，组织内CO2增加，造成低氧环境，乳酸蓄积影响睾丸的正常代谢，不利于精子发生。由于先天性畸形、炎症、肿瘤和外伤使从曲细精管至输精管发生梗阻，均可引起精液排出障碍。前述CFTR基因突变就可引起单侧或双侧性先天性输精管缺如，从而引起阻塞性无精子症。
吸烟
是阴茎勃起障碍的独立危险因素，长期吸烟可以导致阴部内动脉和海绵体动脉硬化性狭窄，导致勃起时海绵体灌流不足而影响勃起功能。长期酗酒显著影响性功能，而且戒酒多年后仍有半数不能恢复勃起功能。大量酒精对中枢神经系统（包括勃起中枢在内）产生广泛抑制作用，同时，酒精也抑制垂体分泌促性腺激素，减少睾酮合成，并加速睾酮的清除，从而导致血睾酮下降。此外，酒精可导致焦虑与紧张及勃起失败。
不洁性生活
易致阴茎勃起障碍。这是因为进行这类性生活时，缺乏安全感而产生紧张和焦虑情绪；而且，如果发生淋菌性或非淋菌性尿道炎等性传播疾病，进一步发展为睾丸炎或前列腺炎均对勃起功能产生不利影响。吸食毒品者的阴茎勃起障碍发生率高于一般人群。
药物
调查显示，25%的患者是由于药物引起的。抗抑郁药对性功能产生多方面影响。多数催眠和镇静药因提高血PRL水平而抑制勃起功能。抗高血压药亦导致阴茎勃起障碍，促肾上腺皮质激素、糖皮质激素和雌激素通过对下丘脑-垂体-睾丸轴的抑制而影响阴茎勃起功能；H2受体阻滞剂、环磷酰胺、胃复安和碳酸酐酶抑制剂可导致阴茎勃起障碍。
前列腺癌与环境因素相关
前列腺癌发病率在我国经济发达地区正迅速上升，大多认为与过多摄入脂肪和红色肉类（猪、牛和羊肉）等有关。前列腺癌是雄激素依赖性肿瘤，青春期前切除睾丸的宦官很少发生前列腺癌，而外源性睾酮和二氢睾酮可以引起实验动物的前列腺癌，表明前列腺癌细胞的生存和增殖依赖于雄激素和一些细胞因子。
