Рассказчик получает письмо от старого друга Родерика Ашера, с которым они не виделись много лет. Ашер так отчаянно просит его приехать, что тому ничего не остаётся, как оседлать коня и отправиться в путь. При встрече рассказчика потрясла ужасная перемена, произошедшая с его товарищем, – настолько измождённым и бесцветным стало его лицо! Родерик превратился в беспокойного человека, коротающего время в добровольном заточении в стенах своего родового замка. «Им владело странное суеверие, связанное с домом, где он жил и откуда уже многие годы не смел отлучиться…». Ашер признаётся, что причиной его переживаний, с одной стороны, является беспощадный недуг и, по-видимому, приближающаяся смерть единственного родного и любимого человека – сестры-близнеца Мэдилейн, с другой – болезненная обострённость его собственных чувств.
Автор с удивлением отмечает, насколько облик родового имения соответствует характеру его владельцев. Дом в представлении его хозяина – это организм, образованный путём взаимодействия камней, из которых он построен, и плесени, растущей на них. Справедливость этой мысли будто бы подтверждается сгущением «своей особенной атмосферы» над озером и вокруг стен, которая пагубно сказалась сначала на предках Родерика Ашера, а теперь и на нём самом. Мрачную и гнетущую атмосферу дома он объясняет тем, что «растения способны чувствовать».
Родерик сухо и немногословно извещает повествователя о том, что леди Мэдилейн больше нет. После этого события атмосфера в рассказе нагнетается ещё больше, но Ашер уверен, что самое страшное случится после смерти его сестры… Он решает на две недели поместить гроб с её телом в подземелье дома, находящееся прямо под спальней повествователя, а по истечении этого срока – захоронить на фамильном кладбище.
Однажды ночью, спустя «несколько невыразимо скорбных дней» после скоропостижной кончины леди Мэдилейн, разразилась страшная гроза. Когда утихал вой ветра, до рассказчика доносились странные глухие звуки неизвестного происхождения. Чтобы успокоить и отвлечь Родерика от тягостных мыслей, он читает ему книгу. Доходит до эпизода, когда её главный герой врывается в «убежище пустынника»; при этом «треск и грохот ломающихся досок разнёсся по всему лесу» – и треск и грохот раздаётся не только в лесу, изображённом в книге, но и в доме Ашеров. Рассказчик связывает подозрительные звуки с ураганом за окном. И только Родерик Ашер понимает: этот грохот означает, что его умершая сестра взломала свой гроб. Он еле слышно бормочет, что похоронил Мэдилейн заживо, что не смел в этом признаться в силу своей трусости и что, желая отомстить ему, она стоит сейчас «здесь, за дверью».
Мощный порыв ветра распахнул тяжёлые, старинные двери в комнату – за ними и впрямь в окровавленном саване стояла леди Мэдилейн. «Минуту, вся дрожа и шатаясь, она стояла на пороге… потом с негромким протяжным стоном покачнулась, пала брату на грудь – и в последних смертных судорогах увлекла за собою на пол и его, уже бездыханного, – жертву всех ужасов, которые он предчувствовал».
Рассказчик в ужасе бежит прочь из замка. А та еле различимая трещина в стене дома, которую он заметил ещё в первый день своего пребывания в поместье, вдруг начинает расширяться, и сквозь неё льётся свет луны. Затем «… раздался дикий оглушительный грохот, словно рёв тысячи водопадов… и глубокие воды зловещего озера <…> безмолвно и угрюмо сомкнулись над обломками дома Ашеров».