13 декабря 2003 года был назначен парламентским секретарём премьер-министра[5]. На выборах 2004 года Брайсон был переизбран как член парламента, на этот раз от Либеральной партии[6][7]. 20 июля 2004 года он вошёл в кабинет министров как министр общественных работ.
В январе 2019 года Брайсон объявил, что не будет баллотироваться на федеральных выборах 2019 года и, соответственно, уйдёт из кабинета министров[8]. В феврале этого же года Брайсон заявил, что покидает своё место и в Палате общин[9].