可好景不长。
刘云贵不知从哪里听说了他在摆字画摊的消息，每日使了钱雇些地痞流氓，也不打他，就坐在徐子君摊边上，有人来便上前去捣乱，没几天，徐子君的字画摊便摆不下去了。
徐子君碍着面子没向丈人求助，不死心地又跑去别人铺子上做个识字掌柜。刘云贵却阴魂不散，又一次缠上来，搅黄了他的差事不说，还被东家逼着倒赔了十两货款。
这下徐子君是真的走投无路了，厚着脸皮求上丈人家，却是大门紧闭。一问邻居，才晓得他丈人几天前就已经带着家人，收拾了家产，一路坐船去了余杭省亲，没个十年八载，只怕是回不来了。
徐子君这才意识到自己是上当受骗了。丈人给的那十两白银，哪里是什么做生意的本钱，不过是打发了他，好让人远远住着，还安安心心地做着美梦罢了。
徐子君满心愤恨，恨自己识人不清，错把豺狼当亲友，惹上刘云贵这样一个黑心黑肝的畜生；也恨自己头脑发热耳朵软，一心妄做发财梦，来路不明的东西也当宝贝一样欢天喜地地收了，害得自己深陷官门，有嘴说不清；但更恨的还是自己视作亲父的丈人，他千不该万不该，不该拿自己当傻子耍，让他备受旁人冷眼的时候，还一心一意地想着赚钱回家，赢回妻子！
急火攻心之下，徐子君咳出一口鲜血，一头栽倒在了丈人门前。邻人虽可怜他，也不敢把人往家里拖，怕他真有个三长两短，自家莫名其妙惹上祸事，只是凑钱请了个闲汉，将徐子君又送回了暂住的废屋。
身无白财，众叛亲离。
徐子君在废屋木床上醒来，心里生了几分死意，在脖子套进麻绳打成的环结中的那一瞬间，他忽然想起李妍年在牛车上回头看自己的那一眼神情，笑得那么坦然，顿时怒从心头起。自己沦落到今日这个地步，那个不肯具了姓名的小姑娘却还能那样逍遥地活着，肆意地笑着……
凭什么！
徐子君顿时不想死了。要死，也得等找到李妍年，揪着她脖子问一问“你那些胡椒都是哪来的，你知不知道你害死我了！”
身无分文，拿了个破碗，柱了根拐杖，徐子君凭着记忆，这样一路乞讨到了杜家庄上。
东来客栈他是住不起了，在附近打听了几日，却是什么都没打听到。也是徐子君运气不好，不晓得自从李家兄妹得罪了杜回春，就已经很少来庄子上晃悠了。而他如今一身乞丐打扮，能朝人打听的也不过是马厩的小厮，扫地的杂役，进不到客栈里见李妍年留了话的那两个伙计。
正当徐子君绝望之际，一日缩在墙角下睡觉之际，隐隐约约听见面摊上有人说起清水镇上最近名头十分红火的一个小饭铺，上好的白米饭，竟是只要三文钱，便能放开肚皮吃到饱为止。
徐子君兜里倒是有这么三文钱，但他看看自己一双脏污到看不出原来颜色的双手，再看看底下一双早已经磨破的鞋子，和露出来的几个满是伤痕的脚趾头，这样的他，只怕也是进不去吃饭的吧？
他正自怨自艾，又听得那煮面的汉子笑着和客人说道：“那铺子啊，我熟啊。替人管着铺子的几个孩子，就是上次在回春馆跟杜大夫闹了红脸的兄妹俩儿，一个叫黑豆，一个叫红豆，心地特好，本来都已经赶了牛车要回家了，偏偏碰上个从花子手里逃出来的半大孩子，冻得半条命都快没了，一看就得费好些银子才救得活，那兄妹三也二话不说就把人给搬回来了。给了五两银子不说，还连累着没回成家，在庄子上又住了一晚上，第二天才走的。”