Иван Иваныч и Буркин идут по полю возле села Мироносицкое и решают зайти к приятелю-помещику Павлу Константинычу Алёхину, усадьба которого располагается неподалёку в деревне Софьино.
Алёхин, «мужчина лет сорока, высокий, полный с длинными волосами, похожий больше на профессора или художника, чем на помещика», встречает гостей на пороге амбара, в котором шумит веялка. Одежда его грязна, а лицо черно от пыли. Он рад гостям и предлагает им пройти в купальню. Помывшись и переодевшись, Иван Иваныч, Буркин и Алёхин идут в дом, где за чашкой чая с вареньем Иван Иваныч рассказывает историю своего брата Николая Иваныча.
Детство братья провели на воле, в имении отца, который выслужил офицерский чин и оставил детям потомственное дворянство. После смерти отца у них отсудили именье за долги. Николай с девятнадцати лет сидел в казённой палате и мечтал купить себе маленькую усадебку и ни о чём другом просто не мог думать. Он всё время представлял себе будущую усадьбу, где непременно должен был расти крыжовник. Николай копил деньги, недоедал, женился без любви на некрасивой, но богатой вдове. Он держал жену впроголодь, а деньги её положил на своё имя в банк. Жена не вынесла такой жизни и умерла, а Николай купил себе именье, выписал двадцать кустов крыжовника, посадил их и зажил помещиком. Когда Иван Иваныч приехал навестить брата, то был неприятно поражён тем, как тот опустился, постарел и обрюзг. Он стал настоящим барином, много ел, судился с соседними заводами. Николай потчевал брата крыжовником, и по нему было видно, что он доволен своей судьбой и самим собой.
При виде этого счастливого человека Иваном Иванычем «овладело чувство, близкое к отчаянию». Всю ночь, проведённую им в усадьбе, он думал о том, как много людей в мире страдает, сходит с ума, пьёт, сколько детей умирает от недоедания. И сколько других людей живёт «счастливо», «днём ест, ночью спит, говорит свою чепуху, женится, старится, благодушно тащит на кладбище своих покойников». Ему подумалось, что за дверью каждого счастливого человека должен стоять «кто-нибудь с молоточком» и напоминать ему стуком, что есть несчастные, что рано или поздно с ним стрясётся беда, и «его никто не увидит и не услышит, как он сейчас не видит и не слышит других». Иван Иваныч, заканчивая свой рассказ, говорит, что счастья нет, а если в жизни есть смысл, то он не в счастье, а в том, чтобы «делать добро».
Ни Буркин, ни Алёхин не удовлетворены рассказом Ивана Иваныча. Им было скучно слушать про чиновника, который ел в своем имении крыжовник. Вместо этого они с удовольствием бы поговорили об изящных людях или о женщинах — об этом им напоминала вся обстановка в доме и снующая мимо них красивая горничная Пелагея. Алёхин не вникает, справедливы ли слова Ивана Иваныча. Речь шла не о крупе, не о сене, а о чём-то, что не имело к его жизни прямого отношения. Но он рад и хочет, чтобы гости продолжали беседу. Однако время позднее, хозяин и гости отправляются спать.