点看不下去了，他说：“朝廷在礼仪方面做得有些过分，皇太后不仅要接见公使夫人们，还要接见各使馆的孩子们。”
除控制关税之外，赫德的手还伸到了很多有关中国主权的其他业务领域。1896年，他获准由海关办理邮政业务，到1903年，设邮政总局33处，辖分局309个，全国省城除兰州外都通了邮路，这成为中国邮政体系的雏形。此外，海关还兼管了海务、港务、检疫、引水、气象等事务，甚至还办理专利、版权及商标注册等等。在赫德的治理下，海关成为一个地位极其重要、涉足范围惊人广泛的机构。到1906年，海关的扩张终于引起了中国官员们的警惕。在大臣们的一再抨击下，朝廷下令成立独立的税务处，开始逐渐削减海关的特权。晚年的赫德尽管还受到足够的尊重，但是他的权力显然已经在不断缩小。然而，清政府直到灭亡，也没有能够收回关税自主权，甚至到民国最初的十多年里，海关的治外格局仍然没变。一直到1928年的南京国民政府成立，才通过艰难的谈判，把海关税务的征收和保管权收了回来。不过，海关总税务司的职务仍是由英国人或美国人担任，这一情况一直持续到1949年。
赫德于1908年离开中国，不过他的总税务司头衔一直被保留着。他在中国前后生活了54年，这几乎就是清政府最后挣扎的时间。他似乎已经很难分辨自己到底是中国人还是英国人了。1911年9月14日，他给自己的继任者安格联（Francis Aglen）写信说：“我的身体一直很不好，日益衰弱，所以我担心再也回不到中国了……中国人是很善良的，心胸宽大，能很好地一起共事，不要催促他们，要一步一步地来，你就会觉得前进很容易，目标最终可以达到。”6天后，他就去世了，再过20天，武昌爆发了辛亥革命。
77岁的赫德终于没有看到他服务了半个世纪的清政府的灭亡，这也许是上天对他的最后一点赏赐。