黄霸，字次公，淮阳郡阳夏县人，其家因为是豪绅而徙居云陵。黄霸年少时就学习法律条令，向往当官，武帝末年以待诏身份捐钱而获赏为官，补侍郎谒者，因亲兄弟犯罪而被弹劾罢免。后来又捐谷给沈黎郡，补左冯翊官俸二百石的卒吏。
左冯翊因为黄霸是捐财为官，轻视他而不给他高职，让他负责掌郡里钱、谷出人工作。黄霸记账不欺瞒，以廉洁升补为河东郡均输长，后又因廉洁而升为河南郡太守丞。
黄霸为人擅于观察，且思维敏捷，又熟习法律条文，待人接物温良谦让，能体察人，善于团结众人。做太守丞时，处事议政合平法度，顺应人心，太守十分信任他，老百姓也敬爱他。
自武帝末年开始，使用法律开始严厉起来。昭帝即位时还很年幼，大将军霍光代为辅政，大臣之间争权夺利，上官桀等人还与燕王合谋作乱，霍光杀掉了他们，于是仍遵守武帝时代的法度，以刑罚的严厉约束广大臣民，由此一些粗俗的官吏便以严酷的刑法为其能事，而唯独黄霸因宽容温和而著名。
遇上宣帝即位，他在民间时便深知百姓苦于官吏用刑的严峻，又听说黄霸持法公平，便召黄霸做了廷尉正。黄霸数次裁决疑难案件，庭中都一致认为判得公平，于是他又临时担任了丞相长史。
在一次公卿的高级会议中，黄霸却因明知长信官少府夏侯胜有非议皇帝诏书的大不敬言行而不举报，终于与夏侯胜一起下交给了廷尉去审罪，结果以死罪关入监狱。
黄霸在狱中跟着夏侯胜学习了《尚书》，过了两个冬天到第三年才出狱。
夏侯胜出狱后，又当上了谏大夫，便让左冯翊宋畸举荐黄霸为贤良。夏侯胜又亲口向皇帝推荐黄霸，皇上便提拔黄霸当了扬州刺史。
又过了三年，宣帝颁下诏书任命黄霸为颍川郡太守，俸禄每月两千石，上任时赐给车中高盖，特许可高一丈，其下属别驾和主簿乘坐的车，车轼前可挂挡泥的丹黄色帘子，以示仁德。
当时皇上正专心于治理天下，多次下达诏书给民众，但有的官吏却不让百姓都知道。太守黄霸却专门选择了优秀的下属吏员，分到各处去发布皇上诏令，让民众都能知道皇上的旨意。他还让邮亭乡官都养上鸡和猪，以赡养鳏寡贫穷的人。然后又制定了条令教则，发给各方父老、师帅和伍长等基层小吏，由其颁行于民间，劝说百姓严防奸盗，并安心于农耕蚕桑之业，节约使用货物资财，种树木、养牲畜，去掉浮华奢侈的浪费。
像数米粒盐粒一样细密的公事，最初显得烦杂碎乱，然而黄霸却全力以赴地加以推行。
官吏民众凡可遇见的人，黄霸都要从其言行中了解有用的情况，询问事情的来龙去脉，以资参考。
一次，有密事需调查，黄霸便择派一位老成的属吏前往访察，并令其绝不能泄露机密。
属吏依言出发。途中易服微行，不敢到驿舍食宿，饿了便躲在路边悄悄地吃些食物，这时忽有一只鸟飞来抢走了他手里拿的肉。
百姓中正好有一个要到郡府陈报事情的人看到这一情况，便与黄霸讲了此事。日后那属吏回来拜见黄霸，黄霸迎上前慰劳他，说：“太辛苦了！在路上吃饭还被鸟抢走了肉。”属吏大惊，以为黄霸对他外出的起居情况都已知晓，所以对黄霸问及的调查结果便不敢有丝毫的隐瞒。
郡中若有鳏寡孤独的人死了没钱安葬的，由乡吏上报申明，黄霸都能为他们分别妥善处理，告其某处有棵大树可做棺椁之材，某亭有头小猪可以做宰祭之用，乡吏依令去取，果然都像黄霸所说的一样。黄霸了解情况清晰明了到这样的程度，官吏民众不知底细的人，都称他是神明。奸盗也只好转移到其他的郡中，所以本郡的盗贼就日渐减少。
黄霸尽力施行教化，然后才使用刑罚，注意成全维护下属官吏。许县县丞年纪大了，耳朵也聋了，督邮报告黄霸想要辞退他，黄霸说：“许县县丞是廉洁的清官，虽然上了年纪，但还能应付官场拜起送迎之类的例行公事，即使很聋，又有何妨呢？还是好好地帮助他，不要让贤德的人失望。”
有人请教他其中的缘故，黄霸道：“一再更换长吏，送旧迎新的费用，以及奸猾官吏乘机销毁账册文书而盗窃财物，公家和私人的损失很大，所有的费用都得百姓供给，换上的新官又未必贤德，或者还不如他的前任，白白地反复加剧混乱。大凡治民的道理，主要是做得不要太过头罢了。”
黄霸以“外宽内明”的作风而赢得了属吏和民众的心，从而郡内的户口逐年增长，治理情况堪称天下第一。皇上征召他试任京兆尹，俸禄两千石。
后因调遣民工修治驰道没有事先上报朝廷，又调遣骑士到北方造成军马无法配给的局面，黄霸被弹劾影响了军队的正常发展，于是他接连被贬官降职。
后来有诏书令他回颍川郡作太守，可俸禄却已被降至八百石居官。前后八年，郡中越加安顺。这时，凤凰神鸟多次飞集各郡国，而颍川郡更是特别多。
天子以为这是黄霸治理长久的吉兆，便下诏书赞扬他，并赐