故事发生在日本两座完全不同的城市。一座是东京——男孩泷住在新宿那种小得只能放下一张床的高层公寓里，每天挤山手线、打三份工、想成为建筑师。另一座是飞驒乡下一个山脚下的小村庄，叫糸守町。村里有一个湖泊像一个剖开的圆，倒映天空。女孩三叶在那里做巫女，绑头发的红绳是奶奶给她编的，她最讨厌的就是这种小到让人窒息的乡下生活。她每天望着天空叹气："下辈子，让我做东京的一个帅哥吧。"
三年前，一颗叫"提亚马特"的彗星划过日本上空。某一天早晨，三叶醒来，发现自己变成了一个在东京公寓里、对着自己身体感到尴尬的男孩；与此同时，泷也在飞驒的木屋里，对着镜子里自己变成的女孩的脸吓了一跳。他们俩，开始无规律地、隔着距离、互相"互换身体"。他们在彼此的手机上留备忘录："不要乱花我的钱"、"今天数学测验记得换我的笔"、"奶奶让你早点起"。他们一开始吵架，吵着吵着，竟然开始期待第二天醒来还是对方。
泷在三叶的身体里，帮她教训了学校里的坏男孩，让她在班里酷了一把；三叶在泷的身体里，整理了他破破烂烂的衣柜，还替他约到了那个他暗恋已久的女前辈出去。他们用对方的生命，悄悄给对方做了一份只有最好的爱人才会送的礼物。直到某一天，互换突然停止。
泷怎么也联系不到三叶。他凭着脑海里的记忆，画了那个小村庄的样子，跑遍整个日本去找。最后他到了飞驒，得知一个可怕的事实——糸守町三年前就因为彗星坠落而毁灭了，全村五百多人都死了。三叶——那个和他互换身体的女孩——也在那一夜，葬身在彗星的火光下。三年。原来他们之间隔的，不是城市，是一整段时间。他们的灵魂，是在不同的时空里互换的。
他冲进山顶的神社，咬下了三叶供奉的"口噛酒"——那是她身体的一部分。他在恍惚里穿越回三年前彗星坠落前的那一天。他大喊她的名字，她在另一头听见，跑出来。他们在山顶的"黄昏之时"——那种白天与夜晚、人与神交错的瞬间——终于真正见到对方。他们把彼此的名字写在对方的手心，约定永远不要忘。可是黄昏一过，他们的记忆又开始一寸寸消退。她哭着低头看自己手心，发现他写的不是名字，是三个字："我喜欢你。"
多年后，已经长大的泷，在东京街头的天桥上和擦肩而过的人对视。两个人都觉得似曾相识，又说不出为什么。他们走过去，又同时回头。两个人各自停下脚步，怯怯地、几乎要哭出来地，开口问对方："请问……你叫什么名字？"