清政府在甲午戰(zhàn)爭中的慘敗，朝野上下極感恥辱，但也刺激了他們的自救之心。他們認(rèn)為日本人之所以打敗他們，就在于日本明治以來，大力學(xué)習(xí)西法，訓(xùn)練了一支精良的軍隊。而清軍主力湘、淮軍訓(xùn)練廢弛、戰(zhàn)術(shù)窳蔽，已經(jīng)毫無戰(zhàn)斗力。他們感覺到，如果不訓(xùn)練出幾支能征善戰(zhàn)的新式軍隊，統(tǒng)治就難以為繼。1894年11月，清政府成立“督辦軍務(wù)處”，開始在天津小站編練新軍。在“督辦軍務(wù)處”大臣榮祿、李鴻章、翁同龢的聯(lián)名保舉下，12月，清政府委派袁世凱督練新式陸軍。

袁世凱深知，靠他一個人的力量練兵是遠(yuǎn)遠(yuǎn)不行的，既然是編練新式軍隊，就得有懂新式軍事的人才。為此，他請他的老朋友蔭昌為他舉薦人才。蔭昌曾擔(dān)任過天津武備學(xué)堂的總辦，于是，他便把他的得意弟子，當(dāng)時正在聶士成軍中的王士珍推薦到小站。接著，袁世凱又從武備學(xué)堂畢業(yè)生中物色到了段祺瑞和馮國璋二人。王士珍剛到小站時，正值他的嗣母病故，面容消瘦，身體羸弱，而且口訥寡顏笑，實在其貌不揚(yáng)。袁世凱并沒有認(rèn)為他有奇特之處，但當(dāng)議及軍事，王士珍則面面俱到，極有規(guī)劃。袁世凱大喜，認(rèn)為其才可堪重用，立即任命他為督操營務(wù)處會辦，右翼第三營步隊幫統(tǒng)，兼步隊學(xué)堂監(jiān)督。不久，又升任他為工程營管帶，兼德文學(xué)堂監(jiān)督。由于王士珍做事細(xì)密、周到，而且不張揚(yáng)，深得袁世凱的信賴，有關(guān)軍中的成績考核，人事的升降黜陟，多與王士珍、徐世昌等人商議。而王士珍也感激袁世凱的知遇之恩，竭力幫助袁世凱訓(xùn)練新軍。他完全按照近代德國陸軍的營制、操典訓(xùn)練士兵，聘請德國軍官擔(dān)任教官和督操官，全部使用外國造新式武器。

光緒二十三年(1897年)，北洋大臣直隸總督榮祿奉詔到小站檢閱新建陸軍，王士珍將工程營設(shè)制的水雷、旱雷、踩雷及各種武器一一演習(xí)，再加上新建陸軍比舊軍軍容整齊，榮祿大加贊賞，向袁世凱贊嘆道：“此人負(fù)治國之才，不第長于軍事也。”袁世凱聽后，更加倚重王士珍，對王士珍提出的要求，無不應(yīng)允。光緒二十三年(1897年)冬還派他去日本閱操。

光緒二十四年(1898年)2月，榮祿再次檢閱，路過海河，河面不寬，尚有冰凍。王士珍用特制的帆布做橋，搭于冰上。榮祿的步兵、騎兵、炮兵從橋上通過，行如坦途。這種帆布橋稍加整理后即為小舟，可供游渡，若拆卸折疊，極易收藏攜帶，榮祿看后更為高興。等到檢閱完畢回去再過海河時，王士珍仍為他架設(shè)帆布橋，榮祿擔(dān)心天已漸暖，冰河解凍，存有危險。王士珍稟告說：“不用擔(dān)心，三天后冰凍方解。”后果然如此。榮祿深服王士珍料事精確。

光緒二十五年(1899年)二月，袁世凱聽說清政府將派他任山東巡撫，趕緊讓王士珍率兩名親信去山東巡視。不到一個月，即將山東沿海各要隘、軍營情況全部勘察清楚，連駐兵計劃也作了周密安排。返回后，袁世凱又驚又喜地說：“胡速歸如此!”即委派王士珍為小站留守司令官，指揮各軍依次從小站開赴山東。 得到袁世凱的賞識與重用，為王士珍以后的仕途鋪平了道路。