В 1926 году был приглашён в Москву в Большой театр. Дебютировал в роли Альфреда («Травиата» Дж. Верди). С первых лет службы в театре, исполняя главные теноровые партии, приобрёл широкую популярность и большую аудиторию почитателей; в конце 1930-х годов стал одним из любимых певцов И. В. Сталина.
В 1954 году, находясь на пике популярности, навсегда покинул Большой театр.
Автор книги «Музыка — радость и боль моя», которая вышла в Москве первым изданием в 1992 году.
Умер 21 декабря 1993 года в Москве от острой сердечной недостаточности. Гражданская панихида прошла 24 декабря в Большом театре[3]. Похоронен на Новодевичьем кладбище (участок № 10).
Большое место в творческой жизни занимала концертная деятельность (выступал с 1919). В репертуаре певца были песни разных народов, в первую очередь русские и украинские, старинные русские романсы, классические песни западных композиторов.
Нередко в свои программы включал произведения, так или иначе связанные с религиозной тематикой. Например, исполнил и записал ряд произведений И. С. Баха (арии из кантат и книгу напевов Шемелли). Также участвовал в редких для того времени концертах русской духовной музыки. До наших дней дошли записи его соло во «Всенощной» С. В. Рахманинова, в «Разбойнике благоразумном» П. Г. Чеснокова и ряде других православных песнопений.
Подготовил и записал программу, состоящую из украинских рождественских колядок. Колядки были записаны и исполнены со сцены.
По словам Н. Д. Шпиллер, «голос Козловского никогда не отличался особой мощью. Но свободное извлечение звука, умение концентрировать его позволяло певцу „прорезать“ большие пространства. Козловский может петь с любым составом оркестра и с любым ансамблем. Его голос звучит всегда чисто, звонко, без тени напряжения. Эластичность дыхания, гибкость и беглость, непревзойденная лёгкость в верхнем регистре, отточенная дикция — поистине безупречный вокалист, с годами доведший владение голосом до высшей степени виртуозности…»[9]
Среди лучших работ певца специалисты выделяют партии Юродивого («Борис Годунов»), Герцога («Риголетто»), Лоэнгрина («Лоэнгрин»), Дубровского («Дубровский»), Индийского гостя («Садко»), Ленского («Евгений Онегин»). Б. А. Покровский охарактеризовал творческий вклад певца следующим образом: «И. С. Козловский — это яркая страница в истории отечественного оперного искусства. Лирика восторженного поэта из оперы Чайковского; гротеск прокофьевского принца, влюблённого в три апельсина; вечно юный созерцатель красоты Берендей и певец „далекой Индии чудес“ Римского-Корсакова, лучезарный посланец Грааля Рихарда Вагнера; обольстительный герцог Мантуи Дж. Верди, его же мятущийся Альфред; благородный мститель Дубровский… Среди большого списка великолепно исполненных ролей есть в творческой биографии И. С. Козловского и подлинный шедевр — образ Юродивого в опере М. Мусоргского „Борис Годунов“. Создание классического образа в оперном театре явление очень редкое…»[9] П. Пичугин писал: «…Ленский Чайковского и Юродивый Мусоргского. Трудно найти во всей русской оперной классике более несхожие, более контрастные, даже в известной степени чуждые по своей чисто музыкальной эстетике образы, а между тем и Ленский, и Юродивый — едва ли не в равной степени высшие достижения Козловского. …Есть в мировом театре роли (их немного!), что давно слились в нашем представлении с тем или иным выдающимся актёром. Таков Юродивый. Он навсегда останется в нашей памяти как Юродивый — Козловский»[9].
Певец внёс большой вклад в музыкальную сокровищницу России, посещая деревни, слушая, обрабатывая и исполняя деревенские напевы, романсы, страдания. Так, он услышал от И. М. Москвина, аранжировал напев тогда неизвестного автора и первым записал романс «Я встретил вас — и всё былое» Л. Д. Малашкина на стихи Ф. И. Тютчева. Романс был опубликован композитором в 1881 году и забыт. Впоследствии стал чрезвычайно популярным у певцов.
Козловский и Сергей Лемешев выступали в Большом театре в одно время, в 1930—1950-х годах. В связи с этим отмечено курьёзное противостояние поклонников и, главным образом, поклонниц этих певцов (так называемых «козловитянок» и «лемешисток»)[10]. Оба артиста-тенора были кумирами довоенной Москвы. Оба тенора были мастерами вокала, давшими советской сцене много новых, сильнейших образов. И. С. Козловскому было свойственно чувство острого, едкого юмора, он с большим блеском исполнял характерные роли. Талант С. Я. Лемешева наиболее полно раскрывался в лирических, романтических партиях. Вместе Козловский и Лемешев спели в 1948 году для О. Л. Книппер-Чеховой на юбилее театра.
Козловский И. С. Музыка – радость и боль моя. [Статьи, интервью, воспоминания] / Вступ. ст. И. Попова. — 1-е изд. — М.: Композитор, 1992. — 384 с. — ISBN 5-85285-241-4.
Козловский И. С. Музыка — радость и боль моя. [Воспоминания, письма, статьи, интервью] / Ред. Г. Кострова. — 2-е изд. — М.: Олма-Пресс, 2003. — 384 с. — ISBN 978-5-9485-0113-0.
Козловский И. С. Письмо В. С. Попову // Иван Козловский: воспоминания, статьи. [Сборник] / Авторы М. Анохина, П. Антокольский, М. Анучин и др.; Сост. Т. Д. Малахова. — М.: Наталис; Рипол Классик, 2005. — С. 542—543. — 640 с., ил. — (Memoria). — ISBN 5-8062-0175-9 (Наталис), ISBN 5-7905-3288-8 (Рипол Классик).
Бюст Ивана Козловского в КиевеВ Киеве именем певца назван переулок Ивана Козловского (Печерский район), где 8 октября 2008 года открыт памятник артисту[11] (скульптор В. И. Зноба).
Именем И. Козловского названа музыкальная школа в Москве[12], при которой находятся Фонд и Музей им. И. С. Козловского[13].
В его честь выпущены почтовая марка и памятная монета Украины.
В 1995 году создан Благотворительный фонд поддержки оперного и балетного искусства им. И. С. Козловского.
В 2001 году в честь 100-летия И. С. Козловского постановлением Кабинета министров Украины и решением Киевсовета была создана Творческая Гостиная мастеров оперного и балетного искусства «Духовное наследие имени Ивана Козловского». В 2006 году она выпустила двойной диск «Навсегда с Украиной» с записями из архива украинского радио.
Иван Козловский: воспоминания, статьи. [Сборник] / Авторы: М. Анохина, П. Антокольский, М. Анучин и др.; Сост. Т. Д. Малахова. — М.: Наталис; Рипол Классик, 2005. — 640 с., ил. — (Memoria). — ISBN 5-8062-0175-9 (Наталис), ISBN 5-7905-3288-8 (Рипол Классик).
Козловский И. Поклон Вам, маэстро![Воспоминания об И. С. Козловском] / Сост. Т. Д. Малахова. — М.: Наталис; Рипол Классик, 2006. — 352 с.: ил. — 5 000 экз. — (Memoria). — ISBN 5-8062-0201-1 (Наталис), ISBN 978-5-8062-0201-8 (Рипол Классик)