Повествование ведётся от первого лица.
Рассказчик, студент факультета метафизики, находится в непростом финансовом положении. Постоянно меняя съёмные убогие лачуги, он поселяется в комнате третьего дома от конца улицы д'Осейль.
В первую же ночь студент слышит звуки странной музыки. О природе происхождения этой музыки он интересуется у хозяина дома по фамилии Бландо. Старый, разбитый параличом человек рассказывает, что это играет на виоле пожилой и немой немецкий музыкант, расписавшийся у него в книжке как Эрих Цанн. Он работает по вечерам в оркестре дешёвого театра. У музыканта имеется странность - он любит играть по ночам, поэтому и снимает высокую, изолированную комнату в мансарде, одинокое слуховое окно которой - единственное место в доме, из которого открывается вид на пейзаж по другую сторону от венчавшей улицу стены.
С тех пор очарованный студент каждую ночь слушает музыку, извлекаемую из виолы пожилым виртуозом. Студент решает познакомиться с музыкантом, и, набравшись смелости, в один из вечеров подкарауливает Цанна, возвращающегося с работы. Молодой человек говорит музыканту, что хочет поближе ознакомится с его игрой. Эрих Цанн жестами приглашает юношу к себе, и более чем на час увлекает его удивительными мелодиями, играя по памяти.
Когда старик заканчивает играть и откладывает в сторону смычок, студент просит его исполнить одну из мелодий, которые он слышал по ночам. Студент даже пытается насвистать её фрагмент, но музыкант резко закрывает ему рот рукой, затем бросает напряжённый взгляд в сторону единственного зашторенного окна, словно опасаясь с той стороны какого-то вторжения. У студента возникает желание полюбоваться городским пейзажем из этого окна, но жилец комнаты решительно уводит его прочь.
Неожиданная выходка старого музыканта сильно оскорбляет студента, и он заявляет о своём намерении покинуть жилище Цанна. Музыкант пишет ему записку с просьбой быть терпимее и не обижаться на старика. Цанн объяснил, что страдает странными приступами страха и нервными расстройствами, имеющими отношение как к его музыке, так и к некоторым другим вещам. Он предлагает студенту занять комнату пониже этажом, куда не долетают звуки его инструмента. Разницу в арендной плате он готов возместить лично.
На следующий день Бландо предоставил в распоряжение молодого человека более дорогую квартиру на третьем этаже, куда не доносятся звуки той волшебной чарующей музыки, что он слышал по ночам. Студент начинает испытывать странное желание выглянуть из слухового окна и увидеть, что находится за той стеной. По ночам он поднимается на этаж выше и тайно слушает колдовскую музыку Эриха Цанна.
В одну из ночей звуки, доносящиеся из комнаты музыканта, превращаются в чудовищную какофонию. Беспокоясь за старика, студент стучит к нему. Через продолжительное время старик открывает дверь и впускает рассказчика к себе. Немой старик начинает писать о своей тайне, но музыканта прерывает какой-то звук, и тот со страхом начинает играть неистовую музыку, полную истеричности и гениальности. Ворвавшийся ветер подхватывает исписанные листы и уносит их в ночь. Бросившись за ними, студент выглядывает из окна, и видит, что по другую сторону стены нет ничего, кроме бесконечной тьмы космоса.
В полной темноте студент на ощупь двигается по комнате, находит Цанна и пытается увести его. Дотронувшись до старика, рассказчик ощущает ледяной холод, исходящий от его тела, а виола в руках музыканта всё продолжает играть. Охваченный ужасом студент бросается бежать, пока не приходит в себя.
Студент теряет и долго пытается найти улицу д'Осейль, но ни на старинных, ни на современных картах города этой улицы нет.