["庾冰是看在一个治国“大才”殷浩的面子上才向弟弟庾翼求情，放殷羡一马的，因为殷羡是殷浩的父亲。所以庾冰在信中要求弟弟庾翼要“多加关照”一下殷羡。
庾翼给哥哥庾冰回信答复说：“殷羡骄横放纵，目无法纪，恐怕就是因为有个好儿子（殷浩）罢了，所以我尽量从人情事理出发对他稍加宽容。咱们通盘考虑一下江南的朝政，因为纵容豪强，致使他们成为危害百姓的蠹（读音du）虫。朝廷颁布实行的法令，只能在寒门百姓身上施行。
“比如往年有人偷石头城仓库藏米一百万斛，这本来都是豪强之辈干的，如果上边追究下来，也只是杀死仓库的督监搪塞一下责任。山遐当初担任余姚县令，为官府清理出豪强藏匿不报的百姓二千户，于是众豪强共同驱逐他，使他不得安宁。这虽然都是前任宰辅（指王导）为官昏昧荒谬，过分宽纵所致，但江东的大业日渐衰微，实在由此而生。
“你我兄弟身陷官场，政务缠身，自己无法吟风弄月，清净谈玄，就应当共同睁亮眼睛加以治理。荆州所统辖的二十多个郡，唯有长沙官吏罪恶昭彰。如果对这种罪人不加以贬斥，这与只杀督监又有什么不同呢？”
于是，庾翼并没有给哥哥庾冰“面子”，他将殷羡就地免职，让他“裸奔”回都城建康老家“自谋职业”去了。
没多久，“风头过了”之后，殷羡（字洪乔）又谋到了豫章太守一职，他又可以“异地做官”了。
殷羡在即将离开南京赶赴豫章的时候，很多人都托他捎带书信，起初他把书信一一收下。可是等他来到石头渚（江西赣水西口）时，心里感觉很不是个意思:这些人为啥都让我给他们带信啊?不行，我得看看他们一个个都让我捎带的是啥内容的信件。
那个时候估计也没什么“侵犯隐私”之类的说法。殷羡一一打开这些书信，进行了一番彻底“检查”，发现绝大多数信件都是“拉关系”、“跑官”、“要官”之类的内容。他不由地非常反感，心想:自己原来拼死拼活地立功、付出艰辛的劳动、经受岁月的煎熬，才有了官爵，结果在长沙还差点儿丢了乌纱帽，在都城挨了皇帝一顿臭训，过了半年多好不容易才又恢复了职务。你们一个个地凭什么啊？（本书已与3G书城签约并上架）
于是他一气之下，竟然将这些书信统统都扔到了江水里，而且他还振振有词地嘟囔着：“沉者自沉，浮者自浮。对不起，我殷洪乔不能给你们当这个破邮差。”
这句话字面意思是：你们这些信哪，能浮着的那就自己漂过去吧，浮不起来的就沉下去，反正我殷洪乔是不做邮递员的。而深层的理解应该是：“沉者自沉，浮者自浮”不是指书信，而是指那些官员，庸碌无为的人自然会被淘汰，而那些确有才华的人自然会脱颖而出。“殷洪乔不能当邮差”是指：我殷洪乔才不给你们这些跑官之人“拉皮条”呢。
庾翼与桓温关系友好，二人都为人慷慨豪爽，乐意建立功名，相约共同平定天下，不喜欢浮华，更不喜欢坐而论道。
当时人们非常看重杜义、殷浩的才学，尤其是殷浩，清净独居于偏僻的墓地，将近十年，朝廷多次征召他当官，他都没有答应。很多人将他看作是当世的管仲、诸葛亮。江夏相谢尚、长山令王濛甚至以殷浩出山不出山，来占卜国家的命运是吉是凶。
有一次，谢尚和王濛共同去访问殷浩，他们共同谈论国家大事，感觉非常惬意畅怀。从此也知道了殷浩有宏图大志。他们返回的途中，两个人同时发出赞叹：“像殷浩这样的旷世奇才不出来担任官职，让天下的老百姓依靠谁啊？”