少年冯国璋加入的就是“淮军”。“淮军”是李鸿章所管辖的部队，因为早期的兵员和将领多来自于安徽江淮一带，故而得名。淮军最有名的战役当数与太平军激战上海，此后又镇压捻军，逐渐成为晚清的重要军事力量。而后随着曾国藩、李鸿章接连担任北洋大臣，淮军的地位更是扶摇直上。先天不足的“勇营”难逃盛极而衰的命运，由于这帮人大部分都是市井的无赖和从良的土匪，加上“勇营”的很多首领治军都不严，因此“勇营”的军纪散漫，士兵出去烧杀抢掠，当官的也是睁一只眼闭一只眼。尤其为了刺激“勇营”镇压太平天国，清政府随便地给予封爵和赏赐，“勇营”的不少官兵难免居功自傲。
当冯国璋抵达天津大沽口加入淮军时，淮军早已不复当年之勇。少年冯国璋所面对的淮军，是一支军纪散漫、思想落后的部队，官兵们营私舞弊，“勇营”战士横行乡里，与土匪无异。但是现实与理想之间的落差并未浇灭冯国璋的满腔热血，和那个时代很多有理想的年轻人一样，冯国璋在默默地等待着改变命运的机会。
李鸿章一手创建的天津武备学堂，也被称为北洋武备学堂、陆军武备学堂，可以说改变了很多人的命运，段祺瑞、王士珍、曹锟、吴佩孚如此，冯国璋亦如此。光绪十一年，也就是1885年，冯国璋以优异的成绩考入天津武备学堂，成为第一期步兵学员。在天津武备学堂期间，冯国璋的学习成绩很出色，每次考试都名列前茅，所以在毕业以后，他顺理成章地留在武备学堂当教员。