“羌帅姚襄率部归顺朝廷，将弟弟们送入京城做人质，殷浩不但不予以安抚，使之为朝廷效忠，反而设计陷害，两次派刺客行刺姚襄，被姚襄发觉。姚襄迫于无奈背叛朝廷。又不能乘势扫荡敌寇，致使朝廷大军惨败，舟车、辎重丢弃一空；三军粮草，资助了敌寇。天怒人怨，成为大众所唾弃的对象，所带来的灾祸，将危及国家社稷……”
朝廷见桓温义正词严，被逼无奈只好将殷浩废为平民，将他流放到东阳郡信安县。
于是桓温终于拔掉了这支“眼中钉”，形成了自己日后的一支独大。
桓温对心腹谋士、参军郗超和主簿王珣说：“说起这个殷浩来，从小就在一起玩耍，我们俩玩骑竹马，我丢掉了之后，他就上来捡，玩的都是我剩下的，哈哈，从那时候看，就知道那小子不如我啊。”
郗超说道：“殷浩军事才能确实不咋地啊，吃败仗是咱们事先就料定的。”
桓温说：“殷浩品格高洁，能言会道，假使让他担任尚书令和仆射，足以成为朝廷百官的楷模，朝廷用才不当，以致有今日啊。”
殷浩虽然被罢黜流放，但没有说过半句无怨言，神情坦然，一切听天由命，依旧不废谈道咏诗，即使自家亲人也看不出他有什么被流放的悲伤。只是整天用手在空中写“咄咄怪事”四个大字而已。
“莫非这就是命运的捉弄吗？出征时我刚一上马，走了没几步，就突然从马上摔了下来，我感觉苗头不对，但我不信这个邪呀！那个狗屁张遇，翻来覆去，朝三暮四，怎么偏偏让我们‘遇’上了呢？你说，这能怪我吗？这些岂非咄咄怪事……”
殷浩的外甥韩伯，素来受到殷浩的赏识和喜欢，他随殷浩同到流放之地，一年后回京，殷浩送到水边，吟咏曹颜远的诗道：“富贵他人合，贫贱亲戚离。”吟罢竟然抽泣哽咽，潸然泪下。
此时掌握朝廷内外大权的桓温到了“逞能”的时候了：“你殷浩酸秀才根本就不是带兵打仗的材料，看看我桓大将军的吧！”
公元354年二月，东晋分三路开始北伐，其中第一路桓温自江陵率四万步兵、骑兵北伐，取道武关入关，又命水军自襄阳进至南乡郡；第二路梁州刺史司马勋也经子午道北伐前秦。桓温先派第三路桓冲进攻上洛，俘获前秦荆州刺史郭敬（这位石勒的恩人还真长寿），于是进击青泥城。
前凉秦州刺史王擢见司马勋攻打前秦西部，于是进攻陈仓以作响应。
前秦皇帝苻健面对桓温大军北伐，派遣太子苻苌、丞相苻雄等人率兵五万驻扎在峣柳以作抵抗。四月，桓温在蓝田县与苻苌等军大战，晋兵在桓温的统率下大败秦兵；同时桓冲也在白鹿原击败了苻雄军队。
桓温在大败前秦军队后就继续向长安进发，挺进到灞上。当时苻苌等军队只好退兵据守在长安城南，苻健将长安的全部家当精兵三万人，交给大司马雷弱儿等人指挥，并与苻苌会合，只留六千老弱士兵留守长安城。
当时前秦首都长安危急，长安周边各郡县官吏都来向桓温归降。顺阳太守薛珍劝桓温直逼长安，但桓温不听从，驻屯灞上后就没有一鼓作气，渡过灞水，却一直与前秦军相持。桓温发出告示，对当地百姓进行了安抚，让百姓安居乐业。
百姓们欢天喜地，都牵了牛，备了酒，到军营慰劳晋军。
一个白胡子老头流着泪说：“自从刘琨、祖逖之后，都三十年了啊，终于又见到朝廷的官兵了！”
另一个白发苍苍的老太太哽咽着说：“那些胡人太猖狂，太野蛮了，他们把中原百姓糟蹋苦了，老百姓就盼着朝廷大军来解救了，你们可来了！”
桓温也激动地流下了眼泪，他说：“百姓们受苦了！在南方的朝廷一天也没忘记你们啊，一直想着要完成北伐大业呢！”
百姓们哭声一片：
“苦日子终于熬到头儿了，老天睁开眼了！”
“保佑咱们的朝廷大军打胜仗，早日赶走那些豺狼禽兽吧！”