在对岸建立阵地，以掩护全军过河。第二天全军过河后立即构筑营垒严阵以待，不久，便有一百多个羌族骑兵到汉营附近来寻衅挑战。赵众将领建议出阵迎战，充国传令：“我军远道而来，人马疲惫，不可驰驱。敌骑都是轻装精兵，也可能是专门来引诱我们的小股前锋，我们既然大军出征，应以全歼敌军为目的，而不要贪图局部的小胜利。”羌兵见汉军不动，便扬尘而去。赵充国派人到咽喉要道四望峡（今兰州西南）侦察，发现那里没有敌人，便率众连夜穿过四望峡，直插西部都尉府（今青海海晏）。
赵充国进驻西部都尉府后，并未立即出战，而是每天设宴摆酒犒劳将士，全军斗志旺盛。无论羌兵怎样挑战，汉军都不理睬。原来赵充国按兵不动，是有长远战略意图的。他知道，在羌族各部落中，先零羌最为顽固，一些弱小的部落如罕、秆等部，都是在先零羌的胁迫之下与汉朝为敌的，先零谋反之初，罕、开部首领靡当儿曾派其弟雕库来见西部都尉，陈述其本不愿反的立场，但恰遇部分罕、开部落的人参与了反叛，西部都尉便将雕库扣留。赵充国到来之后，下令释放雕库，并当面抚慰说：“大军只杀有罪的人，你本无罪，我就放你回去，望你转告各部，速与叛乱者断绝关系，以免自取灭亡。现在天子有诏，对于参与反叛而能投案自首的人，或者协助官军逮捕斩杀叛匪的人，都一律免罪，凡能捕杀～个有罪的大贵族赏钱四十万，中等豪绅十五万，小富豪二万，壮年男子三千。”雕库听了卜分高兴，当即表示唯命是从，而后返回部落。赵充国的策略是以攻心为上。想通过安抚的办法分化瓦解敌人，打破其部落间的联盟，等到他们只剩少数顽固分子时再出兵歼灭。
但是，汉宣帝及大多数朝廷官员都反对赵充国的做法。酒泉太守辛武贤向宣帝提议说：“如今边防部队都集中在南山，北边空虚，而且塞外地区苦寒，内地人马很不适应，已经明显瘦弱，不如在七月上旬出兵，各带一个月的粮草，从张掖、酒泉分路出发，征讨鲜水（今青海湖）一带的罕、秆羌人，虽不能消灭羌兵，也能掠夺大量牲畜，俘虏他们的妻儿，然后退兵，伺机出击。这样一来，必能震慑羌虏。”宣帝对辛武贤的意见表示赞同。一面向陇西调集军队，一面把辛武贤的意见转交赵充国，命他与部属讨论。赵充国与长史董通年共同提出针锋相对的反驳意见：“辛武贤想轻率地带领一万人马，绕道千里去攻击罕、开是不实际的。如果一匹马驮上三十天的粮食，再加上武器服装，就很难快速前进了。况且，即使汉军辛辛苦苦地赶去了，飘忽不定的羌兵或者逃匿，或者据险扼守，截断汉军的粮道，汉军必然师劳力竭，白白耗费人力、财力。”赵充国从实际情况出发，坚持采取一拉一打、软硬兼施、刚柔相济的策略，团结、争取罕、开，讨伐先零。他认为只有“先行先零之诛”，才能震慑罕、秆等部落，使之“悔过反善”，这才是“全师保胜安边之策”。
宣帝和朝廷大臣收到赵充国从边防前线送回的报告后，未曾认真分析就予以否定。他们认为先零之所以兵势强盛，是由于得到了罕、开的帮助，不先攻击罕、秆，就无法对付先零。宣帝听了大臣们的吵吵之后，便下诏书谴责了赵充国，同时任命评延寿为强弩将军、辛武贤为破羌将军，率兵征讨罕、开羌人，而且要求速战速决。
赵充国收到宣帝表示责备的诏书后，并不计较个人得失。他认为，将在外君命有所不受，根据实际情况坚持自己的正确主张是对皇帝对国家尽忠的事。于是再次上书陈述军事上的得失利弊，劝宣帝收回成命。他指出：“先零羌起兵为叛是有罪的，罕、开羌并未入侵边境，现在放开有罪的一方，而去讨伐无辜的一方，势必增加一个仇敌，形成两处祸害。如果先打罕、开，先零必然发兵援助．这样就会进一步巩固他们的联盟关系，敌兵也就成倍地增加，攻战难以奏效，甚至事倍功半。”赵充国实事求是、词恳意切的报告终于说服了宣帝。
不久，赵充国引兵到先零羌占据的地区，先零猝不及防，望风而逃，丢下了所有的辎重物资，争先抢渡湟水。由于道路狭窄，人多拥挤，敌军乱作一团，毫无秩序。按理说，这正是聚歼敌人的大好时机，众将领向他建议：“我军应该给他个秋风扫落叶一般的打击，赶快下令吧！”可是赵充国却回答说：“此乃穷寇，不宜追击。”于是慢慢驱赶。结果，先零羌除淹死、被杀和投降汉军的几百人外，七八千人的主力都安全地渡过了湟水。赵充国又带兵到了罕、开地区，严令士兵不准侵扰，部落首领靡当儿到汉军营地说：“汉兵果然笃守信义，不打击我们。”一再表示愿听约束，仍回故地。
赵充国虽然打败了先零羌，但是并没有彻底征服。先零的主力屯集在湟水以西，时刻都有卷土重来的可能。这时赵充国染病在身，需要休养，为了确保边防的安全，他向皇帝上奏“屯田之策”，即撤退骑兵，留一万步兵在边郡屯驻，并且从事农垦，以农养战，以战护农，兵农一体，安边自给。
但是，这一正确的建议又遭到多数朝臣的反对。宣帝派来破羌将军辛武贤，命令他俩合兵一处进攻先零。看到皇帝进军的