封黄霸爵号关内侯，黄金百斤，俸禄每月两千石。几个月后，又征召黄霸为太子太傅，又调任御史大夫。
五凤三年，即公元前55年，黄霸取代邴吉任丞相，赐爵号封成侯，拥有六百户的封地。
黄霸的才能主要是在地方治理人民，待做了丞相，需要全盘协调发布全国性的号令，其能力风度就不如邴吉、魏相和于定国等前任，其政绩名声比他治郡时也有所下降。
有一次，乐陵侯史高以外戚身份任侍中一职，名望很高，黄霸推荐史高可任太尉。
天子令尚书召黄霸质问说：“太尉一官废除已久，其责由丞相兼管，这是为了息武而兴文。如果国家****，边境吃紧，左右大臣都可任领兵的将帅。而宣明教化，顺通隐情，使牢狱中再无冤案，地方上再无盗贼，是你丞相的职责。将相一级的官员，是由我来任命的。侍中乐陵侯史高是我的帷幄近臣，我对他的才能已有深知，何劳你越职举荐他呢？”
尚书请丞相陈言，黄霸羞惭满面，连忙摘下帽子谢罪，数日后才裁定黄霸免罪。
从此以后，黄霸再也不敢向君上进奏。然而自从汉朝兴起，讲到治理地方官吏民众的，还是以黄霸为第一。
黄霸任丞相五年，甘露三年寿终（前51年），谥号定侯。
黄霸死后，黄霸的儿子思侯黄赏继承了他，任关都尉。黄赏去世，其儿子忠侯黄辅继承了他，官至卫尉九卿。黄辅去世，其儿子黄忠继承他为侯，到王莽时黄家才断绝了封爵。子孙中做官做到郡守一级的有五六个人。