先秦的“士”最早为武士，武士是最低的一级贵族，身份为世袭。战国开始，“士”开始转变为文士，社会其他阶层人士，亦能因为自己的才能被统治者赏识而入仕。两汉有所谓“察举”、“聘召”及“举贤良方正”等拣选人材的方法。魏、晋、南北朝则以“九品官人法”取士。隋、唐以前很长一段时间，武勇之材皆应时需召拔而无定规。

一般都认为武举制始于唐朝。事实上，非正式的武举制，从隋朝便开始了。隋炀帝大业三年(公元608年)四月曾下诏曰：“孝悌有闻，人伦之本；德行敦厚，立身之基。或节义可称，或操履清洁，所以激贪励俗，有益风化。强毅正直，执宪不挠，学业优敏，文才美秀，并为廊庙之用，实乃瑚琏之资。才堪将略，则拔之以御侮；膂力骁壮，则任之以爪牙。爰及一艺可取，亦宜采录；众善毕举，与时无弃。以此求治。庶几非远。文武有职事以上，宜依令十科举人。”显然，这十科中，想必有关于武举的一科甚至数科。只是隋朝科举选士，或按二科，或按四科，或按十科，科目都是临时规定，并没有像后来那样形成为定制。唐贞观十二年(公元638年)，“始置左右屯营于玄武门，领以诸卫将军，号‘飞骑’。其法：取户二等以上，长六尺阔壮者，试弓马四次上，翘关举五、负米五斛行三十步者。复择马射为百骑。”显然，在武则天正式开武举之前，已有了某些课试拣拔武勇人才的做法。

武举制度正式建立是在武则天时。《通典·选举三·历代制下》云：“(武则天)长安二年(公元702年)，教人习武艺，其后每岁如明经进士之法，行乡饮酒礼，送于兵部。”《通典》注云：“(唐玄宗)开元十九年(公元731年)，诏武贡人与明经进士同行乡饮酒礼”；“天宝六载(公元747年)正月制：文武之道，既惟并用；宗敬之仪，不可独阙。其乡贡武举人上省，先令谒太公庙。每拜大将及行师冠捷，亦宜告庙”。武举之制，从此确立下来。