漢平帝元始三年(公元3年)，劉秀九歲的時候，他的父親劉欽因思慮國事家事，身心交瘁，積勞成病，竟一病不起，在汝南郡南頓縣令的任上去世了。

劉欽的死對孤兒寡母的打擊是非常沉重的。從此失去生活來源的母子沒有辦法在南頓呆下去了，劉秀的母親樊嫻都便在小叔子蕭縣令劉良的護(hù)送之下，帶著劉秀和劉伯姬回到了家鄉(xiāng)——舂陵。

在舂陵的樊嫻都根本無力撫養(yǎng)六個子女。最后還是劉良拿主意，他帶著劉縯、劉仲、劉秀三兄弟去了蕭縣，送入當(dāng)?shù)匦W(xué)讀書，而樊嫻都則領(lǐng)著三個女兒在舂陵勉強(qiáng)度日。

劉秀和哥哥們跟著叔父在蕭縣生活了好幾年，隨著他們年齡的增長，叔父劉良的生活愈加困難，劉秀弟兄們不忍心再拖累叔父，就回到了舂陵老家務(wù)農(nóng)。

劉秀性情溫和，喜歡在田野間嬉戲，劉家的佃農(nóng)不免要照應(yīng)著他。時間長了，劉秀漸漸對農(nóng)桑稼穡產(chǎn)生了濃厚的興趣。哥哥劉縯的性格與劉秀恰恰相反，對田園生活毫無興趣，專喜歡交朋結(jié)友、弄俠使氣，養(yǎng)著不少鄉(xiāng)間豪悍的少年做賓客。他對弟弟與世無爭的生活態(tài)度很看不慣，常常笑話他沒有出息，天生是個做農(nóng)夫的材料，與劉邦的兄長劉仲頗為相似。

在劉家兄弟過著田園牧歌生活的同時，漢王朝卻早已岌岌可危，朝政很長時間都把持在外戚王氏手中。王莽則是此時王氏家族的代表，他是漢元帝的皇后王政君的侄子，公元前一年，王莽做到了大司馬錄尚書事，登上了一人之下萬人之上的位置。

王莽先后通過大封官爵、擴(kuò)太學(xué)、改革賑災(zāi)等措施取得了地主豪強(qiáng)、文人以及眾多百姓的支持。這時皇帝的名號雖然還在劉氏的頭上，但是實(shí)際上已經(jīng)成了王莽的傀儡。劉氏一族自然不愿意失去劉氏的天下，公元六年，安眾侯劉崇起兵反對王莽，公元七年，身居?xùn)|郡的劉信也起兵反莽，他們先后被王莽鎮(zhèn)壓了。

公元八年，王莽終于廢掉了漢皇帝，宣布由自己即天子位，國號為新，以王氏王朝取代了劉氏王朝。開始王莽還拉攏善待劉氏，但到了新始建國二年( 公元10年)，篡奪漢政的王莽，唯恐劉姓余波再起，干脆繳回漢諸侯王璽綬。劉姓諸侯王三十二人、列侯一百八十一人同日遭貶，廢為庶人。

王莽廢漢，劉氏的皇族身份沒有了。劉良的特權(quán)地位不復(fù)存在，只有回老家和劉秀兄弟一起務(wù)農(nóng)。從此他們開始過起了老百姓的生活，親身體驗(yàn)到了農(nóng)民的困苦和艱辛。

雖然按當(dāng)然的制度，劉欽和劉良都有資格享受朝廷的退休津貼，但無奈級別太低，朝廷發(fā)的那幾塊散碎銀子根本不夠一大家人操持吃喝的。就算劉良不說，劉家三兄弟心里也是明白的，叔父對他們已經(jīng)夠照顧的了，總不能靠叔父一輩子。

父親不在了，作為長兄的劉縯理應(yīng)挑起生活的重?fù)?dān)。但劉縯生來有著遠(yuǎn)大的志向，他對于干農(nóng)活沒有半點(diǎn)興趣，他最大的愛好是交結(jié)天下豪杰，喜歡暢談天下大事，不屑于料理家中的田地。家中所有的農(nóng)活便只能由二弟劉仲和三弟劉秀來承擔(dān)。

劉秀知道這是大哥的性格，他了解大哥的遠(yuǎn)大志向，只好和二哥一起，默默的挑起生活的重?fù)?dān)，供著大哥在外面風(fēng)光。劉仲是個老實(shí)巴交的農(nóng)夫，他只會埋頭種田，其他的一概不管。

而劉秀從小就對農(nóng)活用心，很會照顧打理田地，他家的田即使在大旱的年景也能有個好收成，而別人家很可能顆粒無收。在這樣的年景下，糧食十分金貴。劉秀雖然不像大哥每天只想著大事，他卻也不是真的只懂種田。他有非常發(fā)達(dá)的生意頭腦，借著現(xiàn)在糧食的稀缺金貴，便每次打完糧后，劉秀留下家里吃的，就趕著牛拉著糧食到周邊市鎮(zhèn)販賣。

本來當(dāng)時時局動蕩糧食比較緊缺，加上劉秀為人忠厚和善，做買賣誠實(shí)守信，價格公道，所以劉家的糧食銷路非常好。很快，劉秀就為家里攢下了一筆很豐厚的積蓄。劉家慢慢從父親劉欽逝世的陰影中走了出來。

劉秀不僅會做買賣，更重要的是他非常會做人，劉秀平時樂于助人，鄉(xiāng)里鄉(xiāng)親的誰家有困難，劉秀都會盡力幫忙，從不說二話。史載，劉秀“品行純美，有君子之風(fēng)。”在當(dāng)?shù)刳A得了非常好的口碑，鄉(xiāng)親們一提劉家老三，各個都贊不絕口。