Повествование ведётся от первого лица.
Повествователь студент факультета метафизики. Волею случая, находясь в непростом финансовом положении и постоянно меняя съёмные убогие лачуги, он поселяется в комнате третьего дома от конца улицы д'Осейль.
В первую же ночь после вселения, студент слышит звуки странной музыки. О природе происхождения этой музыке он интересуется у хозяина дома по фамилии Бландо. Этот старый, разбитый параличом человек рассказывает, что это на виоле играет пожилой и немой немецкий музыкант, расписавшийся у него в книжке как Эрих Цанн. Он работает играя по вечерам в оркестре дешёвого театра. У музыканта имеется странность - он любит играть по ночам, именно поэтому выбирает эту высокую, изолированную комнату в мансарде, одинокое слуховое окно которой - единственное место в доме, из которого открывается вид на пейзаж по другую сторону от венчавшей улицу стены.
С тех пор очарованный рассказчик каждую ночь слушает музыку извлекаемую и виолы пожилым виртуозом. Студент решает познакомиться с музыкантом, и, набравшись смелости, в один из вечеров подкарауливает Цанна возвращающегося с работы. Молодой человек говорит музыканту, что хочет поближе ознакомится с его игрой. Эрих Цанн жестами приглашает юношу к себе, и более чем на час увлекает его удивительными мелодиями играя по памяти.
Когда старик заканчивает играть и откладывает в сторону смычок рассказчик просит сыграть ему одну из мелодий, которые он слышал по ночам. Студент даже пытается насвистывать её фрагмент, но музыкант резко закрывает ему рот своей рукой, затем бросает напряженный взгляд в сторону единственного зашторенного окна, словно опасаясь с той стороны какого-то вторжения. У повествователя возникает желание полюбоваться городским пейзажем из того окна, но жилец комнаты решительно уволакивает его прочь.
Неожиданная выходка старого музыканта сильно оскорбляет рассказчика, и он заявляет о своём намерении покинуть жилище Цанна. Пожилой немой пишет ему записку, которая содержит просьбу быть терпимее к допущенной резкости и не обижаться на старика. Цанн также написал, что он страдает странными приступами страха и нервными расстройствами, имеющими отношение как к его музыке, так и к некоторым другим вещам. Он предлагает студенту комнату пониже этажом, куда не долетают звуки его инструмента. Разницу в арендной плате он готов возместить лично.
На следующий день Бландо предоставил в распоряжение молодого человека более дорогую квартиру на третьем этаже, сюда не доносятся звуки той волшебной чарующей музыки, что он слышал по ночам. Студент начинает испытывать странное желание выглянуть из того окна и увидеть, что находится за той стеной. Поднимаясь по ночам повыше он по прежнему тайно слушает колдовскую музыку Эриха Цанна. В одну из ночей звуки доносившееся из его комнаты перерастают в чудовищную какофонию. Беспокоясь за старика, студент стучит к нему. Через продолжительное время старик открывает дверь и впускает повествователя к себе. Старик пишет юноше письмо в котором описывает свою тайну, но музыканта прерывает какой-то звук, тот со страхом начинает играть неистовую музыку полную истеричности и гениальности. Ворвавшийся ветер подхватывает исписанные листы и утаскивает их в ночь, бросившись за ними студент выглядывает из окна, и видит, что по другую сторону стены нет ничего кроме бесконечной тьмы космоса.
Ничего не видя студент на ощупь двигается по комнате, найдя Цанна он пытается увести его, но дотронувшись до старика ощущает ледяной холод исходящий от его тело, а виола в руках музыканта всё продолжает играть. Поглощённый ужасом студент бросается бежать, пока не приходит в себя.
Студент пытается найти улицу д'Осейль, но несмотря на изучение старинных и современных карт города рассказчик не находит эту улицу.