Повествование ведётся от первого лица, рассказчик — юноша Алёша.
«Лиля, — говорит она глубоким грудным голосом». Алёша знакомится с девушкой. Они стоят на улице: «Как много окон в этом квадратном дворе: есть окна голубые, и зелёные, и розовые, и просто белые». Из голубого окна льётся джазовая музыка.
С друзьями они идут в кино. Но Алёша не знает, о чём говорить с девушкой, и очень смущается.
После кино он провожает Лилю домой и предлагает встретиться завтра.
«На другой день я прихожу к ней засветло». У Лили в гостях подруга. Они идут гулять втроём, но подруга вскоре прощается и оставляет их. На Тверском бульваре они видят много влюблённых. Лиля и Алёша гуляют до рассвета. «Теперь мы идём почти рядом. Её рука иногда касается моей». Алёша вновь провожает Лилю. Дома он читает книгу «Замок Броуди», которую дала ему девушка, и думает о Лиле.
На месяц Алёша уезжает на Север. Он гуляет по совершенно диким лесам, охотится. Когда он возвращается в Москву — прямо с вокзала идёт к Лиле. Он отвык от столицы: она оглушает его шумом, огнями, запахом, многолюдством. Лиля зовёт Алёшу гулять и впервые говорит ему «ты». Они попадают под дождь, и Алёша по просьбе Лили поёт в подъезде ей романсы и арии своим басом.
«Мы давно уже занимаемся в школе: она в девятом, я — в десятом. Я решил заняться плаванием и стать чемпионом СССР, а потом и мира». «Всё свободное время я провожу с Лилей. Я люблю её ещё больше».
Декабрьским воскресным утром Алёше нужно съездить к тётке за шалью в деревню, но он идёт с Лилей на каток, а потом в Третьяковку. Начинает темнеть, и Алёша вспоминает о платке. Они вместе едут к тётке. Уже ночью через поле Алёша и Лиля идут на станцию, чтобы вернуться в Москву. На платформе они впервые целуются — «весь мир начинает бесшумно кружиться».
Весной Алёша чувствует что-то новое. Он думает о том, что девушка для него — единственная: «только её голос трогает тебя до слёз, только её руки ты боишься даже поцеловать… Но вот ты с ужасом замечаешь, что глаза её равнодушны, …вся она ушла от тебя в такую дальнюю даль, где тебе её уже не достать…»
На майские праздники Алёше подарили сто рублей, и он приглашает Лилю гулять. Первого числа она не может: говорит, дядя болеет. Второго приходит на свидание с красивым парнем под руку. «…Я только на второй месяц осмелился взять её под руку» — думает Алёша. Он провожает их до Большого театра. Уходя, Лиля не оглядывается.
«Прошёл год. Мир не разрушился, жизнь не остановилась». Алёша старался не думать о Лиле. Он получает письмо от «старой, старой знакомой». Она уезжает с мужем на Север и просит проводить её. Алёша приходит на вокзал. Из её прекрасного лица ушло что-то, оно стало чужим. «С ней родные и муж — тот самый парень». Она прощается с Алёшей.
Алёша заканчивает институт. Теперь он — взрослый человек. Скоро поедет на Север. «Лилю я совсем позабыл, ведь столько лет прошло! Было бы очень трудно жить, если бы ничто не забывалось». Теперь он влюбляется в других девушек, а они в него.
«Но иногда мне снится Лиля… будто мне по-прежнему семнадцать лет и я люблю впервые в жизни… Непрошеные сны!… Ах, господи, как я не хочу снов!»