Родился шестым ребёнком в крестьянской семье. В семье было 6 детей, из которых двое братьев Ивана Якубовского погибли на фронтах Великой Отечественной войны, а сестра с ребёнком были расстреляны немецкими оккупантами в годы войны. Белорус. Работал по найму в селе, окончил 7 классов сельской школы. С 1930 года — секретарь кустовой ячейки Макаровского сельсовета Горецкого уезда, затем работал на кирпичном заводе в городе Горки. Окончил 2 курса Оршанского педагогического техникума в 1932 году.
В Великую Отечественную войну капитан Якубовский вступил в должности командира учебного танкового батальона 26-й танковой дивизии 20-го мехкорпуса Западного фронта. Участвовал в оборонительных боях в Белоруссии, обороне Минска. С 10 июля 1941 года — командир 51-го танкового полка 26-й танковой дивизии 20-го мехкорпуса, сражался в осаждённом Могилёве[5], был представлен к ордену Красного Знамени. В сентябре 1941 года вышел из окружения и был назначен для поручений в штаб Брянского фронта. С 14 по 28 декабря 1941 года — командир 121-го танкового полка 121-й танковой бригады[6]3-й армии Западного фронта (Орловское направление).
Представлен к награждению званием Героя Советского Союза за героизм в боях за Фастов, где бригада под его командованием только за день боя уничтожила 30 танков врага. Указом Президиума Верховного Совета СССР «О присвоении звания Героя Советского Союза генералам, офицерскому, сержантскому и рядовому составу Красной Армии» от 10 января 1944 года за «образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом отвагу и геройство» удостоен звания Героя Советского Союза[10].
С апреля 1945 года — заместитель командира 7-го гвардейского танкового корпуса в той же армии, участвовал в Берлинской и Пражской операциях. Отличался выдающимся личным мужеством, мастерством принятия нестандартных решений, умением действовать самостоятельно. В годы войны несколько раз был ранен, горел в танке.
С апреля 1967 года — первый заместитель Министра обороны СССР, 12 апреля 1967 года, одновременно с назначением А. А. Гречко министром обороны, а Якубовского — его первым заместителем, Якубовскому присвоено звание Маршала Советского Союза. С июля 1967 года одновременно и Главнокомандующий Объединёнными вооружёнными силами государств — участников Варшавского договора.
С 1961 по 1976 годы — член ЦК КПСС. Депутат Верховного Совета СССР 6—9 созывов (1962—1976). Депутат Верховного совета РСФСР 2-го, 4-го и 5-го созывов (1947—1951, 1954—1963). Делегат 22-го, 23-го, 24-го 25-го съездов КПСС. Член Политбюро ЦК Коммунистической партии Украины (1966—1967).
31 мая 1945 — за умелое и мужественное руководство боевыми операциями и за достигнутые в результате этих операций успехи в боях с немецко-фашистскими захватчиками[12]
Якубовский И. И. За прочный мир на земле. — М.: Знание, 1975. — 63 с. — (Б-чка «К 30-летию победы советского народа в Великой Отечественной войне». В помощь лектору).
Якубовский И. И.Суровое начало боевого пути // Битва за Сталинград(рус.) / Составители. — 4-е изд. — Волгоград: Нижне-Волжское книжное издательство, 1973. — С. 466—477.
Якубовский И. И. Удар небывалой силы // Военно-исторический журнал. — 1970. — Февраль (№ 2). — С. 61—74.
↑Жилин, 2008, Биографические сведения о жизни и службе до войны приведены по автобиографии И. И. Якубовского, написанной в 1947 году, приведена в главе «Доблестный сын Отчизны».
Якубовский И. И. // Герои Советского Союза: Краткий биографический словарь / Пред. ред. коллегии И. Н. Шкадов. — М.: Воениздат, 1988. — Т. 2 /Любов — Ящук/. — С. 832. — 863 с. — 100 000 экз. — ISBN 5-203-00536-2.
Абрамов А. С. У Кремлёвской стены. — 6-е изд., доп. — М.: Политиздат, 1984. — 368 с.
Варенников В. И.IV. «Оперативно-стратегический эшелон. ГСВГ» // Неповторимое. Книга 3. — М.: Советский писатель, 2001. — ISBN 5-265-03489-7.
Жилин В. А. Танкисты-герои 1943—1945 гг. — М.: Эксмо, Яуза, 2008. — 512 с. — (Герои Советского Союза). — 5000 экз. — ISBN 978-5-699-30537-7.
Лившиц В. М. Ён быў салдатам Айчыны // С Горками и академией связаны судьбой. — Горки, 2013. — С. 54—74.
Лившиц В. М. Есть люди, биографии которых являются как бы живым куском истории…" (о И. И. Якубовском)// Гордость и слава Горецкой земли. Земляки-Герои Советского Союза. — Горки, 2014. — С. 5—30.
Маршалы Советского Союза. Личные дела рассказывают / Институт военных и историко-патриотических проблем и исследований. — М.: Любимая книга, 1996. — 96 с. — ISBN 5-7656-0012-3.
Первенцев А. А. Часовые стоят на посту [О дважды Герое Советского Союза маршале И. И. Якубовском]. — М.: Издательство ДОСААФ, 1977. — 63 с.
Рубцов Ю. В. Жезлы на эполетах и гербы на погонах. Все генерал-фельдмаршалы России и маршалы Советского Союза. — М.: Изд. дом «Звонница-МГ», 2002. — 384 с. — ISBN 5-88093-070-X.
Феськов В. И., Голиков В. И., Калашников К. А., Слугин С. А. Вооружённые Силы СССР после Второй мировой войны: от Красной Армии к Советской (часть 1: Сухопутные войска) / под науч. ред. В. И. Голикова. — Томск: Изд-во НТЛ, 2013. — 640 с. — 500 экз. — ISBN 978-5-89503-530-6.
Калашников К. А., Додонов И. Ю. Высший командный состав Вооруженных сил СССР в послевоенный период. Справочные материалы (1945—1975 гг.). — Усть-Каменогорск: Медиа-Альянс.