Главный герой приезжает в небольшой польский городок, где когда-то была расквартирована его военная часть. В 1953 году он вместе со своими сослуживцами проживал в данном городишке, славящимся своей шоколадной фабрикой, под неодобрительными взглядами местного населения, считавшего советских солдат оккупантами. Но любви не прикажешь, и Шура влюбился в молодую польку Эльзу, которая и рада бы ответить взаимностью, но слишком сильны национальные предрассудки, разделяющие молодых людей. Вспоминая свою молодость, герой по старой памяти заходит в знакомый дом, где встречается со своим прошлым лицом к лицу. Совместный российско-польский фильм «Только не сейчас» основан на рассказе Владимира Войновича «Запах шоколада».