《礼记·檀弓》有言：“能执干戈以卫社稷”，意思是拿起兵器保卫国家。这里的“干”指盾牌，上古时期秦称之为“盾”，山东六国称“干”；“戈”指进攻的武器，类似今天所见的矛。干戈在古代最为常用，因此也被用作兵器的通称，亦指战争。

可见兵器自古以来就是用于自卫的工具，与战争之间的关系非常密切。从原始社会早期开始，兵器就伴随着人类的战争出现了。

旧石器时代的石器具有双重功用，大部分为武术兵器同时也是生产劳动工具。例如木棍，在当时不仅是一种最常用的生产工具，而且还是一种最常用的格斗兵器。其属性主要依据其用途而定。当将采集狩猎的生产工具用于同人的搏杀时，它就被当作兵器了。

原始人最先学会使用的是自然界常见且经过初步加工而带有锋利边缘的石块和木棒。到旧石器时代中期，就有了复合工具。例如在木棒上装上石制的矛头而制成的矛，在木柄上装上石刃的刀，这是技术发展中的重要进步。旧石器时代晚期各式各样的复合工具则更多了，不少还与坚硬的骨头相结合，如骨镞、骨矛头、骨鱼叉等，这些复合工具的杀伤力较大。

旧石器时代类似兵器的石器共计七种：有的前端一钝尖，腹部前方为凹入利刃，脊部前为凸出利刃，呈椭圆形；有的前端为圆形利刃，腹部全为利刃，呈肾形；有的前端为一尖，腹部为外凸之利刃，脊部及后端皆为宽面，呈刀形；有的前端为三个面所成之尖，腹部为利刃，脊部及后部为宽面，呈三角形；等等。

然而，在旧石器时代，这些工具多半还是用来生产狩猎。

新石器时代，随着生产效率的提高，人类掌握了磨制、钻孔等更为高明的加工技术，出现了更为复杂的专门用于战争的兵器。这一时期的石器、骨器做工细致而精美，甚至可与现代的一些石器相媲美。

据周纬《中国兵器史稿》统计，新石器时代具有兵器性质的有五种，包括石斧锛和石钻凿、石刀和石刃、石镞、石戈与石钺、石铲和石锄。到了新石器时代末，经过长期、频繁的部落战争，从最初原始人使用的生产工具中转化而来的兵器，已经初步形成进攻性和防守性兵器的几个主要类型，如：

远射兵器：包括弩、弓箭、投掷石球的“飞石索”及由渔猎用石、骨鱼镖发展、演化而来的“绳镖”式的带索镖等；

格斗兵器：包括木棒、石锤、石（骨）矛、石斧、石钺等；

卫体兵器：包括石匕首、石刀等；防卫兵器，包括用猪皮做的盾、藤条做的甲胄及用石头或骨头做的护臂等。

这些原始生产工具或兵器，后来大部分具备了古代兵器的雏形。除弓箭外，像棍、棒、斧、钺、矛、刀等大都被列入“十八般兵器”中。