Назван по храму Харитония Исповедника в Огородной слободе (1654), снесённому в 1935 году. Прежде был известен также по фамилиям домовладельцев как Козловский, или Хомутовский переулок (Хомутовка).
В XVII веке на месте переулка лежала дворцовая Огородная слобода (см. переулок Огородная Слобода). В этой крупнейшей московской слободе в 1679 насчитывалось 373 двора огородников, и десятки дворов прочего люда, включая «немецкого пономаря» (включенный в перепись 1638, позднее «немец» исчезает из поля зрения). Слободу обслуживали три прихода — Харитония Исповедника (центр слободы), Николы в Мясниках и Трёх Святителей.
Во второй половине XVII века на окраине слободы были выстроены белокаменные палаты Алексея Волкова (№ 21). В 1727Пётр II Алексеевич пожаловал палаты князю и подполковнику Преображенского полкаГ. Д. Юсупову; после пожара 1737 года вслед за Юсуповыми в переулок пришли Бестужевы-Рюмины и прочая знать. Юсуповы владели палатами до 1917 года, а заодно и округлили владения землями по чётной стороне переулка. Расцвет усадьбы пришёлся на первую четверть XIX века, когда ей владел Н. Б. Юсупов, а по соседству владели домами Шуваловы, Измайловы и граф Санти.
Бол.Харитоньевский переулок c домом Юсупова на карте 1913 года
1808—1808 — в доме князя Одоевского на углу Малого Козловского переулка.
Все упомянутые дома и Юсуповские сады сгорели в пожар 1812 года. Впоследствии, Пушкин «поселил» на углу Малого и Большого Харитоньевского переулков тётку Татьяны Лариной.
Когда-то вся левая, нечётная сторона Малого Козловского переулка составляла одно владение, которое в 1804 году приобрела жена князя Ф. С. Одоевского. В 1895 году для благотворительных целей построили два здания: Ксениевский (№1, арх. М. К. Геппенер) и Долгоруковский приюты (№3, арх. Д. В. Шапошников). в 1919—1922 гг. здесь находится Академия воздушного флота. Здесь на попечении своего дяди генерала Д. А. Закревского, провёл детство рано потерявший отца Владимир Одоевский.
Большой дом Юсупова (№ 24) в 1839 отошёл к казне и в нём был устроен работный дом для нищих и бродяг. Несмотря на старания городской администрации повысить «престиж» заведения, в 1913 только 54 % постояльцев жили в нём добровольно — остальные отрабатывали принудительные работы. В 1877 при работном доме появилось детское отделение, а в 1895 для приюта и было выстроено двухэтажное здание на углу Малого Козловского переулка.
№ 9/12 — памятник-бюст С. А. Чаплыгину. Выполнен скульптором З. М. Виленским и архитектором Ю. И. Гольцевым. Установлен в 1960 году[5].
№ 13/9 — памятник Н. А. Некрасову (скульптор И. М. Чайков, архитектор А. А. Усачёв). С 2011 года находится у здания филиала Центральной библиотеки города Москвы на Космодамианской набережной, 4/22.
№ 16-20 — дома первой половины XIX века «на реконструкции»
№ 16 — Доходный дом Р. Г. Кравец (1910, архитектор Г. А. Гельрих)
№ 18 — Доходный дом (1910, архитектор П. П. Крюков)
№ 20/2 (во дворе) — Главный дом усадьбы А. В. Прокофьева (жилой флигель усадьбы Н. Б. Юсупова), архитектор Иванов (?), 1791, 1880[8].
19 марта 2017 года на фасаде дома была установлена мемориальная табличка «Последний адрес» инженера Анатолия Николаевича Куракина[13].
№ 22/1 — Городской детский приют (1895, архитектор М. К. Геппенер), позднее — жилой дом. В 1927—1953 годах здесь жил учёный в области машиноведения и автомобильной техники, академик Е. А. Чудаков[14].
№ 24 — бывший крепостной театр Юсуповых, начала XIX века; с 1839 г. — Московский Работный дом.
№ 24, строения 1А, 1Б — Городская усадьба Н. С. Фатьянова, А. С. Ланггауза, Н. Д. Стахеева (сер. XVIII—нач. XX вв.: главный дом, кон. 1740—нач. 1850-х гг., 1878, архитектор С. В. Соколов; 1886, архитектор М. Ф. Бугровский)[8]
№ 24 стр. 2 — Городской дом трудолюбия им. М. А. и С. Н. Горбовых, построен в 1895—1896 по проекту И. П. Машкова архитектором Н. И. Якуниным. До революции в здании размещалось Городское присутствие по разбору и призрению нищих[15].
№ 26/12 — Институт глазных болезней (начало XX века), здания Яузской полицейской части XVIII—XIX веков
В сей утомительной прогулке
Проходит час-другой, и вот
У Харитонья в переулке
Возок пред домом у ворот
Остановился.
А. С. Пушкин, «Евгений Онегин», гл. VII
И часто я украдкой убегал
В великолепный мрак чужого сада,
Под свод искусственно-порфирных скал...
А. С. Пушкин, «В начале жизни помню я..» — о саде Юсуповых
↑Московская энциклопедия / С. О. Шмидт. — М.: Издательский центр «Москвоведение», 2007. — Т. I, Лица Москвы, кн. 2. — С. 77. — 623 с. — 10 000 экз. — ISBN 978-5-903633-02-9.
↑Зеленая Рина Васильевна // Московская энциклопедия. / Гл. ред. С. О. Шмидт. — М., 2007—2014. — Т. I. Лица Москвы: [в 6 кн.].
↑Вострышев М. И., Шокарев С. Ю. Москва. Все культурные и исторические памятники. — М.: Алгоритм, Эксмо, 2009. — С. 486. — 512 с. — (Московские энциклопедии). — ISBN 978-5-699-31434-8.