八宝山原先不过是北京西山平原上的一座孤立残丘，原来叫黑山，相传是因为在那山脚下藏着八件宝贝，金牛、金马、金鸡、金碾子、金磨、金豆子、金簸箕和金笸箩八件宝贝，所以便叫它八宝山。
还有这样两种说法。一是因其附近山间主要出产八种建筑方面的材料。二是山上曾有延寿寺、朝阳庵、灵福寺、娘娘庙、护国寺、地藏庵、山神庙和观音阁八座寺庙。周围的人们常来此烧香拜佛，因这八座寺庙香火最旺，为区别于山上其他寺庙，被称为“八宝禅寺”，后来人们嫌叫“八宝禅寺山”绕口，便直接叫成了八宝山。
从风水角度，由于八宝山尽占龙、穴、砂、水等“吉气”，因而其很早以前就是被作为风水宝地，元代僧人海云来此建灵寿寺，明初建太监刚炳墓祠和廷寿寺。明朝中叶灵寿寺在战乱中被毁后，又重建廷寿寺更名为褒忠护国祠。这里的刚炳墓祠和廷寿寺以及后来褒忠护国祠，都是源于明成祖将其亲自赐封的靖难之役功臣钢铁（钢铁原名刚炳，因其明成祖为表彰其功绩，而特赐名钢铁）大将降旨埋葬于此宝地。八宝山西边的地方因其风水好而很早以前就被作为坟地进行出售。明清两代太监或许也正得知此风水宝地的隐秘，才选择此处作为养老送终的世外桃源。到抗战胜利后，被民国政府改建为忠烈祠，纪念在抗战中光荣牺牲的国民党官兵，其中包括张自忠、佟麟阁、赵登禹等38位将领。这些因素的存在就使得选
