Haruto Kirishima menjalani kehidupan yang tenang di pedesaan, jauh dari kehidupan kota yang serba cepat. Kemudian Yuzuki Eba muncul dalam hidupnya entah dari mana, datang dari Tokyo untuk tinggal sebentar dengan keluarganya. Waktu yang mereka habiskan bersama membuatnya terpesona dengan kenangan masa-masa singkat itu sebelum Yuzuki tiba-tiba menghilang dari hidupnya, dan membuatnya penuh dengan pertanyaan.
Kimi no Iru Machi dimulai beberapa waktu kemudian, setelah Haruto pindah ke Tokyo untuk tinggal bersama saudara perempuannya, untuk mengejar karier sebagai juru masak. Namun pada kenyataannya, ia ingin bersama Yuzuki. Namun, semuanya tidak dimulai dengan baik. Ketika ia tiba, ia dikira pencuri dan diserang oleh tetangga saudara perempuannya, Mishima Asuka. Setelah kesalahpahaman itu terselesaikan, perasaannya mulai goyah. Apakah Eba, yang terus menghindarinya tanpa alasan, adalah orang yang tepat untuknya atau Asuka?