故事发生在 1962 年的香港。九龙的一条老巷里，有两户人家在同一天搬进同一栋楼。一边是周慕云一家，他是一家报社的副编辑，太太是日本商社的秘书。另一边是陈太苏丽珍一家，她在一家船务公司做秘书，先生跑去日本做生意。窗外是嗡嗡的电风扇声，楼下是麻将桌上的笑声，街边是卖云吞面的小贩。她每晚拎着一只热水壶下楼去买面，他每晚也带着小铁盒下来。两个人就这样在窄窄的楼梯间一次又一次擦肩。
她总穿着一条又一条不一样的旗袍——蓝的、绿的、玫红的、墨色绣着小花的。每一条都把她的脖子衬得笔直，把她的腰勒得纤细，把她整个人衬得像一首过分克制的诗。而他总穿着一身西装，头发梳得整齐。他们是这条街上最体面的两户人家，也是这条街上最孤独的两户人家——因为他们渐渐发现，他们的另一半，正在出轨彼此。她丈夫的领带，正是他太太挑的；他太太的手袋，正是她先生送的。
他们一开始想搞清楚"他们是怎么开始的"——于是他们假扮自己的另一半，演那场背叛的对话。一次又一次，越演越认真，越演越不像演。他们去街角小酒馆点同一份菜，去窄巷里躲雨，在他租下的旅馆 2046 房间里写武侠小说。墙上的钟敲了一下又一下，他们之间隔着茶杯、香烟、半盏台灯。他们说："我们不会跟他们一样。"——可你知道，越是这样说的人，越是已经动了情。
她最终没有去那个上海的渡轮。他在 2046 房间里收拾了行李，独自一人去了新加坡。他给她留了一个电话号码。她真的打过来——电话响了一声又一声，她拿着话筒，谁也没说话。他听见那一头细碎的呼吸，知道是她。他也没说话。两个人就在这个无声的电话里，把所有该说的，都说完了。然后她挂了电话，再没有任何消息。她抱着孩子，又开始过她整整齐齐的日子。
多年后，他去吴哥窟。烈日把石头照得发白。他走进一处千年的石塔，把脸贴在石壁的一个小洞上，对着那个洞，把这段感情连同那些没说出口的话，一字一句小声说进去。然后他用一团泥，把这个洞封死了。石头不会说话，可它会替他守住这个秘密。整整一千年。