麦迪逊先是爱上了 15 岁的姑娘，却同一位寡妇结婚

麦迪逊生性腼腆，在异性面前就更为突出。再加之他身材矮小，相貌一般，这种成份就又加重了一层。在 30 岁以前，他接触过的女人并不多。麦迪

逊的恋情首先是同基蒂·弗洛伊德开始的。当时麦迪逊 31 岁，基蒂 15 岁。他们都住在费城的玛丽·豪斯夫人的公寓中。1782 年 11 月后两人频频约会。第二年 4 月相互约定在大陆会议闭幕后于 1783 年深秋的某时结婚。他在给托马斯·杰斐逊的密信中透露了他对结婚的前景欢欣鼓舞的情绪。他虽然没有泄露结婚的计划，但却对他在弗吉尼亚的支持者们说，他恐怕不能在下一届大陆会议工作了。虽然麦迪逊对基蒂倾注了全部感情，但基蒂却并不是如此， 她似乎另有所爱。1783 年 7 月基蒂突然解除婚约。1785 年与克拉克森结婚。麦迪逊迟开的爱情之花就这样凋谢了。

1794 年 9 月 15 日，43 岁的麦迪逊与 26 岁的多莉·佩恩·托德结婚。她是一位寡妇，有一个儿子。麦迪逊首次在费城见到多莉时便为其丰姿倾倒， 爱情火花又一次迸发。不过，这次想“结婚”的成分占有更大的比例。1794 年 5 月，他要求他们二人共同的朋友艾伦·伯尔安排一次约会，从而和她建

立了正式的关系。经过一段短暂的恋爱，她便于 8 月接受了他的求婚。由于麦迪逊不是教友会教徒，多莉和他结婚就被逐出教友会。举行婚礼后，他们去麦迪逊的妹妹内莉家做客，住了两个星期。之后，两人回到费城，直到 1797 年，他们才在蒙彼利埃定居。

多莉是一位生动活泼、体态丰满的美人，她使华盛顿的政界倾倒，在她之前没有一位第一夫人像她那样令人着迷，在她之后也很少有。在杰斐逊执政期间，她有时便在正当场合充当女主人。作为第一夫人，她创设了她那令人欢迎的星期三“会客活动”。她颇有特色地戴装饰羽毛的头巾，身着华丽的服装，每到一处都成为社交活动的中心。她和建筑师本杰明·拉特罗布一起监督白宫的改建工程。在 1812 年战争期间，当英军干 1814 年 8 月向首都推进时，她勇敢地留在总统府，直至某些国宝安全转移以后才离开。3 天后， 麦迪逊夫妇回到华盛顿，发现白宫已化为灰烬。在 3 年的重建过程中，他们居住在八角大厦。1817 年她和总统隐退到蒙彼利埃。