在青海積極準備抗日的過程中，“七七盧溝橋事變”發生，抗日戰爭正式開始，“國民政府”命令青海省代主席、八二軍軍長馬步芳派兵出省參加抗戰。馬步芳先后派出了兩個師的兵力，分別是暫編騎兵第一師和暫編騎兵第二師。第一師師長是馬彪，第二師師師長是馬祿。

1937年8月，國民黨軍事委員會頒令首批出省抗日的軍隊番號為暫編騎兵第一師，正式任命馬彪為師長。出省抗日的暫編騎兵第一師是馬步芳以原青海南部邊區警備司令部所屬第一旅為基礎，整編了原駐防在河西走廊一帶的馬步青部和一百師的部分官兵，并征調大通、互助、湟源3個縣的民團共8000余人組成。其中有回、漢、撒拉、東鄉、保安、藏等各民族人民，以回族較多。全師轄3個旅。

同年9月11日(農歷中秋節)，馬步芳在西寧大教場對新組成的暫編騎兵第1師進行檢閱，并舉行隆重的歡送大會。以壯行色。該師官兵離開西寧后，經蘭州、平涼，到達陜西乾縣。沿途受到各地人民群眾熱烈迎送，使部隊官兵精神抖擻，士氣昂揚，表現了軍民團結一致、抗日愛國的英雄氣概。

1938年2月，暫編騎兵第一師奉命調駐臨潼，各旅分扎在西安以東地區、河南鄭州以西，擔負隴海鐵路沿線的灞橋、渭南、華縣、華陰、潼關和靈寶一線與西安至河南荊紫關公路沿線的藍田、商州、龍駒寨(丹鳳、商南、山陽)一線防守鐵路及保衛公路安全等任務。在陜西，該師部分騎兵奇襲運城的日軍，確保了潼關的安全，并剿滅了騷擾這一帶的白蓮教匪徒和一些慣匪。4月間，部隊奉命剿西荊公路龍駒寨一帶由日本浪人和漢奸參加的白蓮教匪徒，很快就將千余匪徒全部消滅。當時該匪眾盤踞在華山南麓，據情報得知，在華山寺有幾個化裝的日本人暗中指揮。白蓮教(又名紅槍會)專門以邪術愚惑群眾，其組織如同封建王朝以“玄德漢明元年”為國號，其服裝也按級別著莽袍、官服、兵勇等;所用的刀或槍均貼有寫著咒符的黃表紙，自稱刀槍不入，不時出沒于西荊公路線上，肆意攔劫車輛，搶奪物資，致使西荊公路無法暢通，嚴重影響華中戰備物資的運輸與供應。這股匪徒被消滅后，西荊公路線隨即暢通無阻，受到西安行轅主任蔣鼎文的傳令嘉獎。

1938年7月，該師第二旅(馬祿旅)被調赴開封以東的蘭封、商邱一帶，堵擊西犯之敵。繼又擔負黃泛區的尉氏、扶溝、鄢陵和西華等縣的河防任務。不料第二旅的一個排長馬元林(原哥老會分子)叛變，暗地勾結河東偽軍，并槍殺了一營營長馬某，帶走了幾十名士兵，東渡黃河泛區。不到一月時間，他與日本侵略軍的1個中隊及偽軍千余人，偷渡黃河，侵占了新編騎兵師防守的七八個村寨。并揚言日本皇軍即將西進奪取洛陽。一時情況緊急，馬彪電告洛陽求援。第一戰區長官部派龐炳勛的兩個師，開到鄭州等地，準備堵擊西犯日軍。這兩個師進至離前線200里處停下來。騎兵師師部決定利用當時寒冬風雪交加、對敵不利的惡劣天氣，出動兩個旅的兵力，向敵偽軍展開進攻。經過激烈交戰，敵勢頓挫，斃傷偽軍數百人，連續收復了一些村寨。其余潰退的偽軍數百人，結果一半被我殲滅，一半跳河溺斃，無一生還。洛陽后方曾一度人心惶惶，待大獲全勝的喜訊傳來，該防區各縣百姓，無不簞食壺漿，犒軍慰問，并給馬彪師長贈送“萬民傘”，對抗日將士表示崇敬與慰勞。

1939年春，馬步芳下令將第二旅馬祿部由鄭州調往陜西耀縣，并命令駐防甘肅武威的騎兵第五軍馬步青部增補兩旅，另組成暫編騎兵第二師，由馬祿升任師長，駐防北同官(銅川)等地，在陜北邊區與八路軍對峙，部隊歸胡宗南指揮。馬祿部與陜北邊區中共對峙中，雙方始終處于緩和狀態，互不侵犯。馬祿還依據國共合作的方針，為八路軍接濟糧食、彈藥，先后接待了途徑駐地返回延安的朱德、秦邦憲、林彪、賀龍等八路軍領導，表示了愿與共產黨共同抗日的愿望。1940年馬祿部奉命開赴綏德駐防，兵至富縣東西茹子村時，被駐守該地的八路軍阻擋。八路軍領導機關派郭化若在洛川交口河與馬祿談判，向馬祿遞交周恩來信函一封，內容大意是;河西往事，上下人至今都未能釋然。要馬祿改道延川去綏德，以免發生誤會等。馬祿派中校參謀白慕真，攜函去延安晉見毛主席。馬祿信函大意是：我部奉命赴綏德，純為防御日寇，對八路軍無敵意。河西往事已成歷史，今愿團結抗日，為免卻沖突，接受貴軍建議改道前往等。在白慕真赴延安期間，馬祿報請西安戰區司令蔣鼎文批準，取消開赴綏德的命令。白慕真離開延安時，毛澤東主席親筆題寫“抗日英雄”錦旗一面，贈送馬祿。馬祿師與八路軍的友好往來，受到蔣介石的懷疑，曾派員到馬祿部視察。

馬步芳始終關注抗戰的進展情況，特別是自己派出的騎兵第一師始終放不下心。將馬祿調任的同時，馬步芳將馬彪的第三旅旅長馬秉忠調為二旅旅長，又從青海抽調了一旅人馬，補充馬彪師，并派孟全祿為第三旅旅長。1939年春末，經過補充的馬彪暫編騎兵第一師，全師調駐周口至界首一帶。主力駐項城，以防御淮陽的日軍。準陽是蘇、魯、豫、皖邊區日軍主要據點之一，日軍不惜調集各兵種，嚴加防守，并隨時向我防地出擊。馬彪師所駐河防，地處平漢線中段的漯河車站東側，是華東、華中戰略要地。對淮陽的日軍，馬彪師常以輕騎不斷地襲擊，使其龜縮城內，不敢輕舉妄動，這時，馬步芳另派馬仁接替趙仁擔任參謀長。

這一年的8、9月間，馬彪師各旅先后渡過潁河，常以“小騎群”的游擊形式襲擊淮陽一帶日軍，而主要任務是偵察淮陽一帶的日軍敵情。先是一、三旅輪流渡過潁河偷襲敵軍，任務完成后仍返回河南岸。最后以馬秉忠全旅人馬渡河進駐寶塔孔莊一帶，圍困了淮陽城，并占領了淮陽城西關。日軍從開封調來100輛大卡車的援兵，與駐淮陽的日軍步、炮、坦克各兵種配合，大舉進犯騎兵師河防陣地。雙方展開沖鋒，行成了白刃戰。全旅將士奮勇迎戰，馬秉忠旅長在激戰時中彈陣亡，全旅人馬傷亡損失重大。同時犧牲的還有李營長、趙清心連長等。剩余部隊暫由該旅四團團長韓某指揮，連續浴血苦戰。在此期間，馬彪師長隔岸下達命令，堅令血戰到底，并派一旅旅長馬元祥率部分部隊渡河前往寶塔前線支援。期間，馬元祥旅長負傷，后返回后方療養。由于馬步芳軍與日軍頑強交鋒，誓死不退。日軍在倉惶潰退中，有兩門大炮未及帶走，當我方正設法拖拉中，敵人又反撲上來，使用催淚性毒氣，在煙霧彌漫中兩門大炮又被敵人搶了回去。騎兵旅以輕騎迂回敵后奇襲，致使日軍腹背受敵，不支潰退。在這次戰役中，前后總計消滅敵官兵1000多人(俘虜日軍數十人，均送交戰區指揮部)，馬步芳軍傷亡共2000余人。

戰后，部隊在水寨為陣亡將士馬秉忠等召開軍民追悼大會，并在墓前立碑紀念。國民黨軍事委員會派慰問團，為在此役中營以上軍官頒發了“民族至上”獎章;第一戰區長官部及青海當局都有悼唁電，西寧也開了追悼會，悼念抗日陣亡烈士。此時全師官兵，被馬秉忠旅長等將士壯烈犧牲、為國捐軀英勇事跡所鼓舞，增強了殺敵復仇的決心，化悲痛為力量，誓死與日本侵略軍血戰到底。接著便在一次戰役中，打死敵騎兵500余人，繳獲戰馬數十匹，還選了其中20匹送往青海報捷。因此，在以后的敵我接觸中，敵人惱羞成怒，抽調重兵，配備優良武器，不僅將我寶塔一帶陣地，用炮彈摧毀，并在坦克的掩護下，以步兵向我猛撲。在這次戰斗中，敵人付出了慘重的代價，馬步芳軍傷亡也相當嚴重，百余戰士背水而戰，彈盡援絕，因不愿被俘受辱(日寇將我軍俘虜剜眼剖腹)而投水自溺，壯烈殉國。

青海軍在各次戰役中，由于豫東地勢平坦，隱蔽不易，在作戰中雖然行動敏捷，但騎兵目標過大，馬匹損失不少，曾由青海補充戰馬500余匹。一戰區長官部考慮到騎兵師人馬多次奮勇作戰，傷亡較重，長此下去，不易補充，便于1940年5月間暫調后方至豫西葉縣、午陽等地進行整訓。

1940年7月，經馬步芳同意，全師官兵調赴皖北的臨泉及豫皖邊界的沈丘兩縣，被整編為騎兵第八師。為了便于指揮，有利于戰斗。取消了舊的旅、營建制。改為新的師、團、大連編制。當時全師編為3個團，一、二兩個團為騎兵團，第三團為步兵團。此外，尚有師直屬營、連等，馬彪繼續擔任師長。整編后，仍屬第一戰區戰斗序列，同時接受第五戰區李仙洲集團軍的指揮。

8月間，騎八師調赴皖北的渦陽、蒙城、懷遠等縣，駐守渦河以南、沙河以北三角地帶，牽制津浦鐵路蚌埠沿線的日軍。當時日軍在蚌埠一線為六十師團，另有偽軍兩個師，與騎兵師對峙。騎兵師常出其不意地破壞敵占區的鐵路、公路、橋梁等，以斷敵通路，使其運輸物資困難，并牽制了敵軍的行動。據當時情報偵悉，日偽稱該師為“馬回子軍”或“馬胡子軍”，對其戒備甚嚴。此時馬元祥副師長回青海述職，被馬步芳留用未再回皖，同時馬步芳派孟全祿代理了副師長的職務。

同年9月間，該師工兵連和一個步兵大連，進駐懷遠縣境渦河北岸的一個重鎮--龍崗鎮，并修筑了兩道防御工事，埋設了很多地雷，對日軍構成了威脅。日軍便以大炮、坦克、裝甲車配合步兵，圍攻龍崗鎮。先以炮彈轟擊，繼以坦克沖騎兵師陣地。騎兵師發揮地雷戰的威力，炸毀敵一輛坦克。暫時遏止了敵人進攻。接著，敵人又以猛烈炮火掩護，派步兵探雷器尋找地雷。青海軍便在隱蔽工事內，以機槍掃射敵人的探雷部隊及出動的步兵，屢挫敵軍銳氣，打死日軍數百人，使敵軍遭受了重大損失。交戰時，敵軍的一面太陽旗突然倒下，敵陣出現混亂，于是馬彪師長當即命令兩個騎兵連，由附近的一個渡口渡過渦河，迂回襲擊來犯龍崗之敵，敵軍急忙潰退。被青海軍擊斃的日軍尸體，因來不及運走，僅僅割走了各尸體的一只胳膊(據說日軍把燒化的骨灰送回日本，叫做無言回國)。龍崗鎮戰場上，尸體縱橫，約有三四百具。在退卻中敵人又大放毒氣，青海軍未敢窮追。經過這次戰役，皖北一帶的敵軍，猶如驚弓之鳥，再也不敢輕舉妄動。從此，“馬胡子軍”的聲譽傳遍附近敵占區群眾之中。

1941年夏，日軍以優勢兵力，由皖北的壽縣、鳳臺兩縣出發，企圖三面包圍騎兵師。當時馬彪師長考慮到部隊防守之地，是渦河、沙河之間的一個狹長地帶，敵軍六十師團和1個師多的偽軍，沿沙河西進，是在騎八師的右后方，腹背臨敵，難以支撐，并判定敵軍的出動是掃蕩，而不是西進。因此，決定騎兵師由懷遠的河溜集、蒙城的雙澗集、陸瓦房等地，轉移到阜陽、潁上沙河以北地區。這個時期，敵我僅發生小部隊遭遇戰，并無大的接觸，敵人撲空后仍退回原據點。

馬彪師初到皖北時，全師官兵都認識到是來打日本侵略軍的，因而與友鄰部隊新四軍彭雪楓支隊雙方經常派員聯絡，友好往來，彭雪楓部曾派人送給騎八師100匹軍衣布料，馬彪騎八師也派人給彭部送去戰馬10匹和20支步槍，還隨時互通情報，共同對付蚌埠的日本鬼子，為此曾受到過國民黨軍事委員會和戰區來電報責備。

1941年后，馬彪師內部意見分歧。當時馬彪因兼任何柱國騎兵第二軍副軍長，并有升任六十四軍軍長的傳說，于是有人即向青海馬步芳告密，說馬彪有野心，想脫離青海。加之補充的兵源，多是來自豫皖陜地區抽調的壯丁，似有擺脫青海的跡象。馬步芳深恐騎八師閃失販販販，1942年夏，由青海飛往重慶，向何應欽述職后，并向蔣介石當面報告說：“馬彪因年老申請退休，擬由馬步康去接替……”蔣介石準如所請。馬步芳返青后，即派馬步康帶領部分人馬(馬步康系馬步芳的堂兄)時任馬步芳部一百師二九八旅旅長，前往皖北阜陽東北的馬店子與馬彪辦理交接手續。馬彪含恨未回青海，索性居住西安。不久馬彪接到蔣介石電召去重慶，面謁蔣介石，當面訴說他并未要求退休，并表示：當此抗戰緊急關頭，寧愿當個老黃忠，戰死沙場，保衛黨國，死而后已。蔣介石嘉許馬彪勇敢善戰，屢立戰功，犒賞銀幣10萬元。并分別電示西安胡宗南及蘇魯豫皖邊區總司令湯恩伯，予以妥善安置。 湯恩伯接電后，便在沈丘籌備成立騎兵縱隊，打算由馬彪來領導。曾派人在甘肅夏河等地買馬數百匹，先成立了第一團，但由誰來任團長還未定。后來買馬之事很難進行。馬彪看到成立騎兵縱隊的計劃行將落空，只好仍返西安，以中將參議的名義，閑居西安市，馬步芳聽說后，及時將馬彪請回了青海。

1943年到1944年之交，敵人又發動了最后的進攻，掀起了中原大會戰，先搶占了河南洛陽。日本侵略軍為繼續打通平漢線，重占該線水陸碼頭的漯河據點，調坂垣師團主力，首先圍攻漯河外圍的阜陽。為了保衛阜陽，蘇魯豫皖邊區總部調騎八師赴潁上一帶，作為側翼掩護，參加了保衛阜陽的戰役。在潁上縣與友軍主力部隊取得聯系后，作為機動掩護力量，盡量迂回到敵后出其不意進行襲擊。當時正值田苗茂盛季節，人馬容易偽裝隱蔽，在偷襲、奇襲中，常使進犯的敵人付出慘重的代價。騎八師副師長盧廣偉和一士兵也被敵人飛機投彈炸死，師長馬步康及司令部其他官兵等幸而沒有傷亡。中原會戰結束后，騎八師又劃歸第五戰區指揮，仍駐皖北。

總之，馬步芳在抗戰期間，為了民族大義，毅然從思想上、軍事上堅決抗日，在青海省內創造寬松的抗日文化輿論氛圍，同時派出兩師的騎兵轉戰十幾省，歷時達八年，抗日精神還是值得肯定的。