故事是从一家疗养院的窗边开始的。一位白发苍苍的老人，坐在一位失忆症的老太太床边，捧着一本翻得快要散架的旧笔记本。他每天都来给她念里面的故事，希望她能想起来——他们俩，曾经，真的相爱过。
笔记本里的时间，回到了 1940 年的夏天，南卡罗来纳州的海边小镇。男孩叫诺亚，是个穿背带裤、做木工、一年只能挣几十美元的穷小子。女孩叫艾莉，每年夏天跟着家人从纽约来海边度假，她家有司机、有钢琴、有讲不完的法语。他们在游乐场的摩天轮上认识——他赖在她和别人坐的吊篮下面，倒挂着求她跟自己跳一支舞。她又好笑又生气，最后说了"好"。那一晚她穿着白裙子在街上转圈，他举着两支圣代奔过去，把人生中最完整的一个夏天交给了她。
他们躺在荒废老宅的地板上，看月光从破窗洒下来。他答应她，将来要把这栋房子修好，给她一面看夕阳的大窗户、一间可以画画的工作室、一条门廊上的蓝色摇椅。她答应他，永远不会因为他穷而离开。可她妈妈把她拖回了纽约。诺亚一连写了三百六十五封信，每一封都被她母亲偷偷藏起，一封也没送到。艾莉以为他忘了，含着泪一点点把他从心里割掉，订了婚，未婚夫是一个英俊的、从战场上活着回来的军官。
七年后她路过报纸，看见一张照片——那栋荒宅，被人一砖一瓦修好了，正如他当年答应她的样子。蓝色摇椅就在门廊上。她颤抖着开车回到那个小镇。他在屋里给油漆刷最后一道。两个人在雨里又见到彼此。她抓住他的衣领问："你为什么不给我写信？"他低声说："我给你写了，每一天，整整一年。"那一夜，雨打着窗，他们用整个屋子来确认，他们从未真正分开过。
她最终选择了他，离开了未婚夫。后来他们结婚，生了孩子，住在那栋他亲手修好的房子里，吵架，又和好，吵架，又和好。直到她得了失智症，把他们所有的故事都忘了，包括他自己。可他不肯放弃。他每天去疗养院，捧着她年轻时手写的笔记本，从第一页念到最后一页。偶尔有那么几分钟，她会突然望向他，眼睛清亮，认出他来——那短短的几分钟，他就活下去了。最后那一夜，他握住她的手，说："我们一起走，好吗？"——他们就那样在彼此的怀里，安静地睡着了。