Вокруг ваших окон есть утечка наружного воздуха - поможет это исправить пенная изоляция. О ней подробнее в статье