Au moment d'arriver au Japon, le narrateur explique à son fidèle «frère Yves» qu'il entend s'y marier «avec une petite femme à peau jaune», le temps de l'escale. À Nagasaki, dans une maison de thé, il rencontre M. Kangourou, l'entremetteur qui se charge de lui trouver une épouse. Mais lors de la solennelle présentation, Loti refuse Mlle Jasmin, trop jeune et surtout trop japonaise. Il se choisit une autre femme au physique moins typé, Chrysanthème. Il l'épouse donc, et s'installe dans un logement loué à un vieux couple pittoresque, M. Sucre et Mme Prune. Mme Chrysanthème attendrit parfois Loti, mais elle l'ennuie et l'exaspère plus souvent, comme tout ce qui est japonais. Ces sentiments mêlés se révèlent dans une série d'épisodes brefs, scènes de la vie quotidienne: toilettes, repas, promenades, fêtes. Rien ne séduit longtemps le narrateur, parfois submergé par des souvenirs d'enfance ou de sa vie à Istamboul. Pour tromper son ennui, il essaie d'imaginer une aventure entre Yves et Chrysanthème. Lorsque repart son navire, il n'a toujours compris ni le Japon ni Chrysanthème...