Действие романа разворачивается в Париже и Исудёне. Агата Руже, родившаяся в Исудёне, отправлена на воспитание к своему родственнику, доктору Руже. Агата подозревает, что он — не её отец. Позже она выходит замуж за человека по имени Бридо, и у них рождаются два сына, Филипп и Жозеф.
Мсье Бридо рано умирает, Филипп, старший и любимый сын Агаты, становится солдатом наполеоновской армии, а Жозеф — художником. Филипп на поле боя показывает себя отважным человеком, но у него есть грехи — пристрастие к алкоголю и азартные игры. Он выходит в отставку после реставрации Бурбонов из-за своей лояльности к Наполеону. Жозеф — преданный своему ремеслу и более лояльный сын, но мать не понимает его призвания.
После отставки Филипп участвует в создании французского поселения в Техасе, но его преследуют неудачи. Вернувшись во Францию, он оказывается безработным, живет со своей матерью и мадам Декоин и доводит их до разорения из-за выпивки и азартных игр. Филипп отстраняется от матери и брата после кражи денег мадам Декоин. Его готовятся арестовать за участие в правительственном заговоре.
Тем временем в Иссодуне старший брат Агаты Жан-Жак дает приют бывшему солдату по имен Макс Жиле. Считается, что Макс его незаконнорожденный сводный брат. Макс и слуга брата, Флора Брэйзир, пытаются контролировать Жан-Жака. Макс возглавляет группу молодых людей, именующих себя «Праздными рыцарями», часто веселится и бездельничает в городе. Двое из них выступают против испанского иммигранта Фарио, уничтожая его повозку и зерно, тем самым уничтожив его бизнес.
Жозеф и его мать оправляются в Иссодун, чтобы убедить Жан-Жака выдать деньги Агате для погашения долгов Филиппа. Они останавливаются у друзей Хохонов. Жан-Жак и Макс отдают им только старые картины, но только Жозеф знает им цену. Жозеф говорит Хохонам о своей удаче, не подозревая, что их внуки — друзья Макса. Узнав цену картинам, Макс требует их возвращения.
Однажды, когда Макс выходит на ночную прогулку, Фарио его закалывает. Оправившись от не смертельных ран, Макс решает обвинить в покушении Жозефа. Его арестовывают, но затем отпускают за недостаточностью улик. Жозеф и Агата возвращаются в Париж.
Филиппа же обвиняют в заговоре. Несмотря на то, что он сотрудничает с властью, ему дают пять лет нахождения под наблюдением полиции в Отуне. Благодаря своему адвокату он перебирается в Исудён, в надежде потребовать наследство матери. Он вызывает Макса на дуэль на мечах и убивает его. Затем берет контроль над Жан-Жаком и его прислугой, требуя, чтобы Флора стала женой Жан-Жака.
Филипп женится на Флоре после смерти Жан-Жака. Флора тоже скоро умирает. Читатель узнаёт, что обе эти смерти были подстроены Филиппом, но непонятно зачем. Благодаря своим связям он получает титул барона де Брамбург. Вскоре он женится на дочери богача.
Попытки Жозефа примирить его и мать перед её смертью не удаются. Жизнь Филиппа катится под откос после его неудачной спекуляции, и он снова поступает на службу в армию, чтобы принят. участие в алжирской войне, где его убивают. Жозеф, ставший известным художником, получает наследство.