当摩根为新的计划踌躇满志之时，兼并铁路业的良机出现了。
众多面临破产的铁路公司在美国的经济危机面前，无力自救，急于想打折出售，摩根趁机进军铁路业。为了能迅速整合美国铁路，摩根采取了高价买下一切的战略。无论是西海岸号称价值7000万美元的“西部铁路”，还是那些早已陈旧得不符合当时要求的铁路，他都统统买下。因为在这次收购铁路的过程中，摩根并非没有对手，他的对手便是赫赫有名的洛克菲勒。为了避免洛克菲勒染指铁路，就必须开出洛克菲勒所不能开出的高价迅速收购铁路。只有这样摩根才能独揽铁路，以求最大的获利。
当时有人认为摩根的高价收购策略，风险太大，会使他步科克的后尘，陷入破产境地。但事实证明摩根的策略是对的。首要的原因是摩根的大量投资，是针对促进铁路发展这一目的，他并非为了投机。所以摩根并没有把投资本身能带来多少短期利益作为投资多少的标准，而是以投资多少才能促使这些铁路恢复正常运行为根据。其次，由于树立了产业的收益才是未来银行界财源的真正后盾的观念，摩根并不想单靠这一次投资短期获利，他可以把一部分利益送与卖方，所以他才开出了打败所有竞争对手的高价。摩根认为这次投资的巨大利益是在购买之后才能获得的，因此他立刻派手下干将史宾塞与柯士达对铁路业进行整顿，加强管理，从铁路的运营中得到投资补偿。第三个原因，也是最重要的原因是摩根认为：如果铁路这一未来产业经济的支柱被别人占去，那么他在金融界刚刚夺得的霸主地位也只能是昙花一现。“谁掌握未来经济的支柱，谁才是未来金融界的真正霸主”，为此他值得一搏。这次摩根对铁路的大整合，标志着美国经济由重视开发的初创阶段，进入了重视经营管理的现代阶段。他的经营思想与管理方式成为华尔街纷纷效仿的模式，其影响力至今尚存。
这一历史性的大并购，使得曾因经济危机一下子跌至谷底的铁路运费再度被提高。摩根的成功介入消除了铁路各企业之间的竞争，纽约、芝加哥等地的运费涨了20倍。