Библиотека была открыта при церкви Иоанна Златоуста в Коровницкой слободе города Ярославля 7 февраля (25 января по старому стилю) 1903 года и  называлась Златоусто-Коровницкая бесплатная народная библиотека.

Основатель библиотеки – купец первой гильдии, потомственный почётный гражданин города Ярославля Николай Константинович Андронов. Одна из дочерей основателя библиотеки купца Андронова – Нина Николаевна – вышла замуж за Владимира Книппера, родного брата жены А. П. Чехова. В 1918 году на заседании потребительского общества «Единение» библиотеке было присвоено имя великого  русского писателя А. П. Чехова.

В архиве Ярославской области не оказалось материалов о других периодах истории библиотеки. Библиотекари  успели записать рассказы свидетелей и читателей предвоенного и военного времени. Перед войной, в 1938-1939 годах, ансамбль церквей в Коровниках использовался как склад лыж и спортивного инвентаря, здесь же размещалась почта, вторую половину занимала библиотека, вход в нее был через главные ворота. Отделены две половины друг от друга тесовыми перегородками. Отапливалась церковь дровами. Для этих целей при ней служил истопник-сторож. Кроме этого, для заведующего библиотекой в церкви была отгорожена комната для проживания.

В годы Великой Отечественной войны все работники ушли на фронт; ежедневно убирать библиотеку приходила одна уборщица. Заходили и читатели, выбирали книги и уносили домой их незаписанными. Через какое-то время библиотеку закрыли, на двери повесили замок. Но уже 9 июня 1945 года появляется решение Исполкома Городского Совета Депутатов трудящихся об организации работы библиотеки имени А. П. Чехова Кагановичского района.

С 1947 года библиотека трижды меняла адреса: ул. Большая Московская, 63, ул. Ньютона, ул. Слепнёва, 14, где находится и сейчас.

В настоящее время библиотека является региональным центром по сохранению информации о жизни и творчестве А. П. Чехова, его связи с Ярославским краем и популяризации наследия писателя, а также исследованию истории рода Андроновых.

Библиотека – участница научно-практических конференций, Чеховских книжных фестивалей в Таганроге, Международных Чеховских чтений в Мелихове, входит в Международное сообщество Чеховских музеев и библиотек, поддерживает контакты с учёными и исследователями творчества А. П. Чехова. Библиотека стала инициатором и организатором проведения в Ярославле научно-практических конференций, приуроченных к юбилейным датам со дня своего основания: «Чехов и краеведение» (2003), «А. П. Чехов в культурном пространстве XXI столетия» (2013), «Вся Россия – наш сад» (2018). В библиотеке открыта  Чеховская гостиная,  проводятся  Дни памяти писателя, бенефисы, вечера и праздники по-чеховски, выставки детских рисунков и фестивали художественных работ, посвященных творчеству писателя. С 2014 года проходят Чеховские дни в Ярославле и реализуется проект «Чеховские сезоны». В память о писателе  около библиотеки в 2007 году разбит Чеховский вишневый сад.

В фонде имеются редкие, в т. ч. прижизненные издания; книги с автографами исследователей чеховского наследия; обширная картотека «А. П. Чехов»; фильмография, коллекция чеховских персонажей.

В 2003 году библиотека стала победителем конкурса Губернатора Ярославской области на создание культурно-дугового центра, посвящённого основателю библиотеки ярославскому купцу Н. К. Андронову и его потомкам Книппер-Чеховым. В библиотеке хранятся подлинные вещи Андроновых, в том числе – кресло, шкаф и зеркало, которые сейчас составляют основу Чеховской гостиной.

В разные годы заведующими были Александр Иванович Журавлев (1937-1938), Серафима Израилевна Шевелёва (1952-1982), Галина Леонидовна Волкова (1983-1986).

Библиотеку с 1986 года по настоящее время возглавляет заслуженный работник культуры РФ Валентина Геннадьевна Викторова, лауреат премии мэрии города Ярославля в области развития библиотечного дела за реализацию проекта «Библиотека и Чеховское наследие». В коллективе трудятся семь специалистов.