La colección de la Real Armería tiene su origen en las disposiciones testamentarias del rey Felipe II, quien ordenó que no pudiera ser vendida en almoneda pública después de su muerte, según era costumbre para pagar las deudas terrenales y espirituales del difunto. Con ello vinculó la Armería a su hijo, el futuro Felipe III, y a sus sucesores. Esta decisión también implicó que la colección fuera considerada como inalienable de la Corona de España, constituyendo en la actualidad una de la joyas del Patrimonio Histórico Español.
La decisión de Felipe II de mantener unido este conjunto de armas se debe a dos motivos. En primer lugar la Armería tenía un gran valor simbólico y sentimental, tanto por ser la colección que mejor mostraba el poder de la Casa de Austria, como por contener las armas de su padre, el emperador Carlos V, a quien admiraba. En segundo lugar, se trataba de una colección excepcional de armas de lujo, de gran valor material, que debía ser conservada apropiadamente. Sus sucesores fueron enriqueciéndola con parte de sus armerías personales y otras armas de diversa procedencia.
La decisión de otorgar un trato preferente a la armería sobre el resto de las colecciones se remonta, al menos, al fallecimiento de Carlos V, acaecido el 21 de septiembre de 1558. A finales de 1559 Felipe II ya había hecho saber a los testamentarios del emperador la decisión de comprar la armería imperial a un precio ventajoso. En 1560 el establecimiento de la corte en Madrid supuso que además ordenara construir frente Alcázar un edificio destinado a albergarla junto con las caballerizas. Éste subsistió hasta 1884, cerrando y dando nombre a la actual Plaza de la Armería.
El núcleo principal de la colección actual se corresponde con la armería del emperador Carlos V, que a su vez custodiaba armas pertenecientes a su padre, el rey Felipe I de Castilla, y a sus abuelos, el rey Fernando el Católico y el emperador Maximiliano I de Austria. A ellas Felipe II agregó su armería personal y las armas medievales procedentes del tesoro real Trastamara del Alcázar de Segovia. La colección abarca por tanto la totalidad del siglo XVI, periodo en el que Europa se encuentra en pleno Renacimiento y durante el cual la corona española ostentaba la primacía en la política del continente. Esta circunstancia permitió que los encargos se realizaran a los principales talleres europeos, situados fundamentalmente en el sur de Alemania y norte de Italia, ambos bajo el control de la corona española. Destacar, entre ellos, los liderados por las familias Helmschmid, Grosschedel y Negroli. Junto con los objetos de uso personal también custodiaba trofeos militares como los de Pavía (1525), Mühlberg (1547) o Lepanto (1571); los regalos diplomáticos de los duques italianos de Mantua y Urbino, o los enviados desde Japón a Felipe II en su condición de rey de Portugal.
Aunque la fama de la colección recae en las armerías de Carlos V y Felipe II, los reinados de Felipe III y Felipe IV (1605-1621-1665) deben ser considerados como uno de los conjuntos más importantes del siglo XVII, también compuesto por armas para el servicio real y regalos diplomáticos o familiares. Entre ellos destacan los enviados en 1604 y 1614 por Jacobo I de Inglaterra y sobre todo el suntuoso regalo remitido en 1603 por el duque Carlos Manuel I de Saboya.
Durante el reinado de Felipe IV las armaduras perdieron toda la importancia que habían tenido en épocas anteriores debido al avance de las armas de fuego. De este último momento de esplendor del arte de la armadura datan dos valiosos conjuntos, regalados por su tía la Infanta Isabel Clara Eugenia siendo gobernadora de los Países Bajos, y por su hermano el Cardenal Infante Don Fernando siendo gobernador de Milán. Los reinados de Felipe III y Felipe IV acrecentaron la colección de armas de fuego y armas blancas, destacando las forjadas en la ciudad de Toledo.
Tras la llegada de la Casa de Borbón la colección continuó enriqueciéndose con armas personales, trofeos militares y regalos diplomáticos, destacando los enviados desde Turquía, Túnez, Marruecos y Argelia entre 1766 y 1770. En el siglo XVIIII merece especial mención el importante papel de la villa de Madrid como uno de los principales centros europeos de producción de armas de lujo. En las primeras décadas del siglo XIX el auge de los centros vascos de Eibar y Placencia de las Armas sustituyó a Madrid en el liderazgo de la producción española manteniendo su reputación hasta la actualidad.
En 1884 un incendio destruyó el edificio de la armería construido por Felipe II. Alfonso XII (1857-1875-1885) ordenó la construcción de su sede actual, obra terminada tras su muerte por voluntad de su esposa, la reina regente María Cristina de Habsburgo.