洪武二十年茂從馮勝征納哈出。茂多不奉勝約束，勝數誚責之。茂應之慢，勝益怒，未有以發也。副將藍玉率常荗等受降時，常荗以納哈出不敬欲出走故，砍傷納哈出，納哈出所部聞之，有驚潰者。勝故怒茂，增飾其狀，奏茂激變，遂械系至京。茂亦言勝諸不法事。帝收勝總兵印，而安置茂于龍州，二十四年卒。

大意是，常茂與馮勝為子婿關系，在軍營常茂多不受約束。當時納哈出投降，在酒宴時，常茂感覺納哈出對他不尊敬，砍了納的部下。于是，常茂和老丈人就開始告狀，結果兩人都沒得好。馮勝的兵權被沒收，而常茂也被貶到龍州，四年后死亡。

正常情況下，這事也就過去了。不過后來，有人告發常茂假死。

初，龍州土官趙貼堅死，從子(同祖父但不同父的堂弟的兒子)宗壽當襲。貼堅妻黃以愛女予茂為小妻，擅州事。茂既死，黃與宗壽爭州印，相告訐。或構蜚語，謂茂實不死，宗壽知狀。帝怒，責令獻茂自贖，命楊文、韓觀出師討龍州。已而知茂果死，宗壽亦輸款，乃罷兵。

史說常茂貶到龍州后，并不太平安份。一是納妾，他謫居龍州，帶罪之身，居然納當地土司趙貼堅妻黃氏之女為妾。二是擅權。土司趙貼堅死后，其侄子趙宗壽繼任，但是常茂和貼堅的老婆黃氏等人仍把持當地政務，引發趙宗壽諸多不滿。于是，后面的事情，一鍋粥。宗壽上奏告常茂，后又說常茂死了，貼堅妻黃氏則告宗壽仍侄子非親子，不應該承襲土司位。不久，又有人告，說常茂并沒有死。朱元璋大怒，下詔嚴查。結果趙宗壽竟然拒命不出，訖不從命。朱元璋即詔發湖廣江西所屬馬步官軍六萬，會討龍州等地。皇上的意思是明確的，你趙宗壽親自來見，說明常茂已死，則“宥其罪”，寬大處理，若詐遣人來，則進兵討之。最后，趙宗壽到京，說明常茂確實已死，朱元璋才作罷。

廣西常氏族譜證實常茂不僅沒死，而且子嗣眾多，跑到偏遠之地，隱居起來了。這個說法，有點道理。常茂“死”前一年，朱明王朝發生了一件大事。因為胡惟庸一案的牽連，李善長并其妻女弟侄七十余人被殺。

李善長是什么人？淮西首領，建國功臣，朱元璋最重要的謀臣，而且也有免死鐵券，這樣的人都能全家被殺，貶置龍州的常茂自然膽戰心驚，因為朱元璋對他的結論是“誘合諸蠻，肆為不道”，這還了得？于是，常茂感到大勢不妙，做出詐死的決定，并故意通過政敵趙宗壽之口傳到京都，以讓皇上確信。

但是，沒有不透風的墻，常茂詐死的說法終于傳到皇上耳中。此時，趙宗壽可能也發現上當了，常茂生不見人，死不見尸，無法交待啊，所以只能“屢詔不至”。直至朱元璋下詔討伐，趙宗壽才不得不“伏罪來朝，乞罷兵勿征”。這時候，即使他知道了常茂詐死的事實，也必須硬著頭皮制造常茂已死的假象。但上奏常茂已死、后又屢詔不至的事實說明，趙宗壽心中是有鬼的。正是在這種境地之下，常茂只能做出離開龍州的人生重大決定。

明史說，洪武二十五年，即常茂“詐死”第二年，朱元璋封常遇春次子常升為開國公，圣旨中說“惟惜歿后無嗣，承襲仍須有人。茲遵兄終及弟之例制，封爾升為開國公”。按此說法，本來是應該封常茂的兒子的，可惜他沒后人，只好封了他的弟弟。

據信，常茂與馮氏夫人(馮勝女)曾有三個兒子，怎么就“無嗣”了呢？

有一種說法，比較有合理性。常茂“詐死”跑路之后，常茂和馮氏夫人經過周密安排，根據當時的政治大環境，常茂自己跑了，也妥善安排了馮氏夫人和兒子們，朱元璋殺人如麻的做派，肯定讓他們極有顧慮，因此，策劃躲起來，隱姓埋名、人間消失是最好的辦法。再說，他們也有這樣的條件。比如，洪武二十四年，開平王常遇春之妻藍氏夫人還在世，她絕不會坐視不管，一定會千方百計地施以援手。其時，舅老爺涼國公藍玉還在位(藍玉案發生在一年之后)，有職有權，他完全可幫助其外甥和其兒子解圍。依此觀點的人，推測是大舅公藍玉安排了常茂的兒子們去了山西從軍為伍，等待機會東山再起。但是，一年后，藍玉自己也出事了，而且株連了一萬五千人之多，史稱“藍獄”。在這種惡劣的政治環境下，常茂的兒子們，誰還有膽出頭露面？徹底人間消失，才是他們的唯一選擇。

至于常茂本人，有一個說法是，洪武二十四年，常茂帶著小妾李氏夫人逃了，逃至廣西恭城縣五排瑤(今恭城縣觀音鄉白竹鋪村)深山中隱居，數年后遷至常家村(今恭城縣栗木鎮常家村)定居，李氏生四子，長子常智、次子常慧、三子常賢、四子常良。常茂卒于永樂十一年(1413年)，終年58歲，葬于栗木鎮大合村，為防日后不測，采取深葬不修墳形，謹置白石一塊為記。弘治年間，國家太平，年景頗佳，明孝宗朱佑樘，對開國元勛子孫被貶謫者，淪為庶民，“寸祿不享，實感不忍”，于弘治五年(1492年)三月八日下詔，復用功臣后裔。常茂子孫尚有余悸，不愿受祿封號而辭謝。

1989年夏，經廣西恭城瑤族自治縣文物管理所普查考證確認，常茂墓為文物點，并發文通知，明文規定加以保護。此墓可不可信，也只有隨意了。因為，各地為爭名人之后，發生過五花八門的舉止。不足為憑。