淳熙三年，即公元1176年，辛弃疾被朝廷任命为京西路的转运判官，同时兼任京西路的提点刑狱司和提举常平司。到了第二年，朝廷又任命他为知江陵府兼湖北安抚使。
在湖北任安抚使期间，辛弃疾采取严打措施，其严厉程度可以与西汉的“酷吏”相比。当然，其效果自然相当的显著。据说，湖北境内竟然“奸盗屏迹”。不久，辛弃疾因为跟屯驻在江陵的部队统制官逢原发生矛盾，这个逢原仗着朝中有人撑腰肆意妄为，狂妄到了极点。但是，辛弃疾不怕，硬是跟他对着干，后来竟然惊动了朝廷，由于此时辛弃疾的上司叶衡已被免职。因此，从深层次来讲，辛弃疾虽然占理，却吃了暗亏，严重影响到他今后的仕途发展。最后，辛弃疾被调任到隆兴知府兼江西安抚使。在这期间，辛弃疾依然实行在湖北的那套治理措施，对贪污、盗窃、走私等进行严厉打击，效果也是不错的。只是，三个月后朝廷又将他调回京城担任大理寺少卿，主要负责刑狱案件的审理及何事工作。
淳熙五年，即公元1178年，辛弃疾再次被调任，朝廷任命他为湖北转运副使。这一年，宋孝宗突然心血来潮，重新启用他得老师史浩为宰相。关于史浩在“泪溅龙床陆游的北梦难就”里有讲述，这里不再累述。此时的史浩已经73岁了，他的重新上台，无似乎对辛弃疾来说是一件天大的好事。因为，史浩是走主站路线的。然而，这只是表面想象，史浩虽然走的是主站路线，但是他并不怎么相信辛弃疾，他总认为辛弃疾有些邪门，把张浚急于北伐的原因看成是受到了辛弃疾等人的蛊惑，而后造成了北伐的失败。因此，史浩对辛弃疾并不怎么喜欢。换句话说，他不大可能会重用辛弃疾，而辛弃疾也只能流转与地方上做官。
淳熙六年，即公元1179年，辛弃疾从湖北调任到湖南，为转运副使。这一次，辛弃疾在湖南做了一件大事，这就是组建“飞虎军”，有点类似于现在的特种部队。辛弃疾为什么要组建“飞虎军”，要回答这个问题，我们先交代一下当时的具体情况。
由于湖南境内“盗贼”闹事者众多，治安环境很不好。其实，在辛弃疾看来，这些所谓的“盗贼”都是迫不得已，属于“官逼民反”，如果用一律剿杀的策略，肯定是治标不治本。于是，他上书朝廷，建议朝廷应“讲求弭盗之术，无徒恃其有平盗之兵”。《宋史·辛弃疾传》在辛弃疾看来，要想解决“盗贼”四起的问题，朝廷不能仅仗着有平定盗贼的士兵，更重要的是应该整顿吏治，爱护百姓，解决他们的实际困难。
此时的宋孝宗正为国内不断涌起的老百姓起义感到头疼不已，他正愁没有法子解决。如今辛弃疾说他又办法，就让他在湖南做一个“试点”工作吧！看看效果如何。那么，辛弃疾在湖南都采取了哪些措施来解决这个问题呢？主要体现在以下几方面：
1．吃饭问题与水利工程两不误。老百姓为什么要成为“盗贼”，有一个很重要的原因就是吃不饱，人一旦长时间吃不饱，就会闹事。在淳熙七年春天的时候，即公元1180年，湖南境内发生大规模的饥荒。如果按照一般的解决办法，就是由朝廷或者当地官府发放救济粮便结束了。但是，辛弃疾的做法不一样，他采取的是招募民工去修水利，然后用粮食当做工钱。如此一来，老百姓肚子也吃饱了，水利工程也修好了。为日后发展农业生产提供了有力条件。
2．采用“文治”。辛弃疾认为在湖南与两广相邻，这个地带情况特殊，就是属于多民族杂居。换句话说，这里的民风比较彪悍，动不动就以武力解决问题。而当地的官员，大都采用强硬手段进行压制。这肯定不行，硬碰硬最终的结果解释两败俱伤，而事情却依旧没解决好。因此，辛弃疾建议采用文治，以德服人。同时，还大力兴办学校，提高他们的文化素养。
3．惩治贪官。贪官无论在哪个朝代，都是一大祸害。为此，辛弃疾对贪官的处置也是很严厉的，一旦发现，毫不留情。比如，有一个教赵善珏的官员，他上任不久便开始手痒痒，贪占老百姓的租赋，被辛弃疾给发现了，毫不留情的上书朝廷，罢免了他的官职。
4．严厉打击豪强恶霸。这有点类似于现在的“严打”。总之，对于那些欺压百姓，好强霸占的黑恶势力，辛弃疾是毫不手软。
辛弃疾通过上述四条措施，使得湖南一带的恶劣情况出现明显好转。然而，还有一个棘手的问题没有解决，这就是一旦有民变或者其他突发事件发生，就目前湖南一带现有的兵士的战斗力来看，那简直是不堪一击。为此，辛弃疾决定组建“飞虎军”。我们知道，要建立一支军队，别的不说，光军费就不得了。辛弃疾是如何解决军费问题的呢？
根据《宋史·辛弃疾传》的记载，说辛弃疾在组建“飞虎军”的过程中，“经度费巨万计，弃疾善斡旋，事皆立办”。这个记载很是简略，但我们可以从“善斡旋”看出，辛弃疾应该是想了很多法子，有可能游走于各级之间，或者向朝廷也要了一部分。在这里我做一点补充说明，有一本叫做《夷坚志》的书，这本书属于宋代志怪小说集，作者是洪迈