联军总司令冯玉祥（左一）和总政治部副部长刘伯坚（左三）在誓师大会上

1926年9月15日，冯玉祥返回国民军总司令部驻地绥远省五原县。冯玉祥一行于8月17日乘火车离开莫斯科动身回国，随行的有共产党员刘伯坚、苏联顾问乌斯曼诺夫等人。9月3日，冯玉祥一行抵达库伦。冯玉样决心收拾残局，重振旗鼓。国民军的流散部队，听说冯玉祥回国，纷纷携枪归队。冯玉祥于五原召集国民军将领鹿钟麟、宋哲元、方振武、弓富魁、何其巩、石敬亭、孙岳、徐永昌等，以及国民党中央执行委员于右任开会，商讨国民军大计。决定成立国民军联军，推举冯玉祥任国民军联军总司令。

9月17日，国民军在五原城内举行了誓师授旗典礼，冯玉祥宣布成立国民军联军总司令部，并就任联军总司令。于右任以中国国民党中央执行委员会常务委员的身份授旗并监誓。参加典礼大会的有国民军一、二、三、五、六各军官兵万余人。誓师会上还举行了易旗仪式，将五色旗更换为青天白日旗。冯玉祥当场宣布：为表明国民军忠于孙中山的三民主义，决心出师北伐，国民军全体将士加入中国国民党；并郑重地向全国发出誓师宣言。宣言中称：“玉祥本是一个武人，半生戎马，未尝学问。唯不自量，力图救国，怎奈才识短浅，对于革命的方法不得要领，所以飘然下野，去国远游，乃至走到苏联，看见世界革命，起了万丈高潮。中国是世界的一部分，受国外帝国主义与国内军阀双重压迫，我们要解除这深切的痛苦，惟有推翻帝国主义的压迫，解除军阀之压迫。”会后，冯玉祥、于右任扛着红旗，率领全体官兵在五原街上游行。

誓师大会后成立了国民军联军总司令部，鹿钟麟任总参谋长，何其巩任秘书长，李兴中任参谋处长，陈连富任副官处长，徐廷瑗任军务处长，张吉镛任军法处长，张允荣任内防处长，薛笃弼任财政委员会委员长，石敬亭任政治部部长，刘伯坚任政治部副部长，聘请乌斯曼诺夫为政治军事顾问。同时，选派政治工作人员分赴各军，成立政治处。至月底，散驻各地的冯玉祥旧部来投者，已达6万余人，国民军准备重振军威，向陕甘一带进军。