Több mint ötven évig voltak házasok, a Kossuth-díjas rendezőt nagyon megviselte felesége halála.
„Intézem a teendőket, a temetést, és ott vannak a gyerekek is. Ezekben a nehéz pillanatokban ők adnak erőt nekem” – nyilatkozta az Oscar-díjra is jelölt operatőr, akinek a lap szerint Bordás Katalin volt az egyetlen nő, akit valaha szeretett. A magánéletükről sosem beszéltek nyílvánosan. A középiskolában ismerkedtek meg. Katalin Koltai első amatőr filmjének volt a főszereplője, akkor találkoztak először.
Két lányuk született: Nóra Londonban tanult sminkelést, Katalin pedig egy fotóügynökségnél dolgozik.