В Холодной синагоге местечка Мазеповка поёт обладающий прекрасным голосом кантор Шмулик Ямпольский. Однажды в Мазеповку приезжает всемирно известный кантор, и Шмулик, впервые услышав пение профессионала, решает учить пению своего сына Иоселе, имеющего красивый дискант. Иоселе терпеть не может учиться в хедере и мечтает выучиться на кантора.
Растущий без матери, с жестокой мачехой, Иоселе с детства привязан к своей соседке Эстер. Мать девочки, галантерейщица Злата рано осталась вдовой с тремя детьми, и Эстер с детства помогает матери по хозяйству, управляется в лавке и воспитывает младших братьев.
Ссорясь с соседями, Злата защищает Иоселе от укоров отца и побоев мачехи. Однажды Эстер находит в местечке Тетеревце купца Лейбцина, который согласен помогать Иоселе учиться у тамошнего известного кантора Мици. Мачеха согласна избавиться от пасынка, но отца мучает совесть, да и Злата недовольна, что мальчику придётся уйти из дома. Тем не менее, двенадцатилетний Иоселе отправляется в Тетеревец.
Увидев бедно одетого мальчика, Мици недоверчиво относится к нему, но услышав его пение, приходит в восторг и берёт Иоселе к себе в хор певчим.
Мици доброжелательно относится к Иоселе, в отличии от своей жены, которая мальчика недолюбливает, придирается к нему также, как и его мачеха, заставляет помогать по дому. Мальчики из хора, завидуя Иоселе, тоже недоброжелательны к своему новому товарищу. Лейбцин помогает Иоселе деньгами и, приезжая из Мазеповки, привозит письма от отца. Мальчик очень тоскует по дому и особенно по Эстер.
Один из бывших учеников Мици, а ныне сам кантор, Гедалия, слыша про нового певчего своего учителя пытается переманить его к себе. Иоселе соглашается петь с Гедалия, который предлагает ему путешествовать по свету и заработать деньги, но сначала он хочет повидать родных, три года не был он в родной Мазеповке.
В субботу в Холодной синагоге Мазеповки Иоселе поёт гимны. Люди восторгаются его необыкновенным голосом, называя его соловьём. В дом к Шмулику приходят гости выразить своё восхищение, даже мачеха Иоселе растрогана пением пасынка. Но Иоселе волнует только встреча с Эстер.
Вскоре Иоселе становится известным кантором. Из уст в уста передаются легенды о его необыкновенном голосе. И хотя домой он не приезжает, Шмулик получает от него деньги. Но вскоре Иоселе перестаёт помогать семье, и отец не получает от сына никаких известий. Тоскует по Иоселе и Эстер. Она могла бы выйти замуж, но не может забыть своего друга детства, не верит она, что Иоселе нарушил клятвы и обещания, данные при расставании.
Тем временем Иоселе вместе с Гедалия разъезжает по городам. Гедалия теперь не поёт, а заботится о Иоселе как родной отец, договариваясь в синагогах, чтоб Иоселе пел. Повидав мир, Иоселе становится шалопаем. Он пропускает молитвы, играет в карты, лакомится свининой и может выпить стаканчик «горькой». Кроме того, красивый юноша пользуется успехом у женщин. Но кантор — заступник паствы перед Богом, и такое поведение вызывает возмущение людей. Помимо того, что Иоселе является для Гедалия хорошей доходной статьёй, Гедалия надеется выдать замуж за него свою дочь, хотя девушка старше Иоселе. Он отваживает от юноши всех невест, которые встречаются ему. Но вскоре Гедалия понимает, что его надеждам не суждено осуществиться, Иоселе заявляет, что женится не собирается, а если женится, то только на девушке из Мазеповки.
Иоселе приезжает в городок Стрищ. Там он знакомится с молодой вдовой, мадам Переле, у которой недавно умер муж, оставив ей приличное состояние. Красивая, образованная женщина и богатый дом заставляют Иоселе забыть об Эстер. Братья покойного мужа мадам Переле возмущены тем, что ещё не окончен срок траура, но с помощью Гедальи, который заметил, что Иоселе-соловей часто пускает петуха и рискует лишиться голоса, свадьба состоялась, и молодые переезжают в Бердичев.
В Бердичеве Иоселе приходится жить с родителями жены в небольшом грязном доме. Ему непонятна жизнь, которую ведёт его тесть-коммерсант. Жена не понимает его желания стать кантором. Утонченная, нежная женщина оказывается базарной торговкой, которую родители слушаются во всём из-за денег её покойного мужа.
Слухи о женитьбе Иоселе доходят до Мазеповки. В последнее время из-за простуд голос Шмулика начал сдавать, и известие о женитьбе сына стало для него тяжёлым ударом. Втайне страдает и Эстер, к которой сватается местный ростовщик, вдовец Алтер, которого ненавидит вся Мазеповка. От безысходности девушка поддаётся на уговоры и решает выйти замуж за богатого старика. Даже сидя на помолвке, она надеется на появление Иоселе. На венчании Эстер падает в обморок от горя.
Тем временем Иоселе, уйдя от жены, возвращается в Мазеповку. Мечтая о встрече с Эстер, он попадает на её свадьбу в самый разгар веселья, никем не замеченный. Иоселе становится плохо, и он бежит домой.
На следующий день гости собираются в доме Златы на обряд «подвязывания невесты». Услышав, что Иоселе приехал один и лежит больной, в горячке, Эстер с трудом сдерживается, чтоб не пойти к нему.
После ухода гостей Эстер с матерью приходят проведать больного. Несмотря на то, что они оба связаны брачными узами, Иоселе предлагает Эстер сбежать. Поборов искушение, Эстер возвращается домой к мужу.
Три недели пролежал Иоселе с воспалением мозга. Всё это время Эстер приходила проведать его, несмотря на насмешки мужа. Иоселе уже почти поправился, когда появилась мадам Переле. Увидев жену, Иоселе с диким криком бросается на неё. Сошедшего с ума сына Шмулик отвозит к цадику в соседнее село Макаровку.
Эстер тает как свечка, хотя Алтер не жалеет денег ни на врачей, ни на лекарства. Кантор Шмулик умер, и в Мазеповке собирают подаяние на его вдову и младших детей. Мадам Переле вернулась к родителям, став вдовой при живом муже. Ей неплохо живётся на деньги первого супруга.
По Макаровке бродит безумный человек. Он заходит в дома и ждёт, когда ему дадут поесть. Он редко говорит с кем-то, но иногда начинает петь. Он так поёт, что люди бросают все свои дела и приходят его слушать. Во время пения он может начать лаять по-собачьи, мяукать кошкой или кричать как петух. Люди относятся к нему с состраданием, дают деньги и одежду, только озорные мальчишки его дразнят и бьют. Иоселе-соловей хладнокровно сносит обиды, ни с кем не вступая в пререкания.