史料对中山国最早的记载是镐京之乱前夕，即西周末期两个名人之间的对话。当时，有感于西周即将大祸临头的郑桓公为了给郑国的子民找到一个避难之地，找到博学多闻的周朝史官，希望史官能指给他一个方向。史官有问必答，直接告诉郑桓公唯一可以避难的地方只有东方，但西周在东方的重镇洛邑（成周）被众多诸侯包夹，并不是一个可以立足的地方。
桓公为司徒，甚得周众与东土之人，问于史伯曰：“王室多故，余惧及焉，其何所可以逃死？”史伯对曰：“王室将卑，戎、狄必昌，不可偪也。当成周者，南有荆蛮、申、吕、应、邓、陈、蔡、随、唐；北有卫、燕、狄、鲜虞、潞、洛、泉、徐、蒲；西有虞、虢、晋、隗、霍、杨、魏、芮；东有齐、鲁、曹、宋、滕、薛、邹、莒；是非王之支子母弟甥舅也，则皆蛮、荆、戎、狄之人也。非亲则顽，不可入也。——《国语-郑语》
通过史官的话可以知道：当时中山国的主体民族鲜虞就位于西周陪都洛邑的北方，而西周陪都洛邑的北方则是山川纵横的山西地区。不过，此时散落在山西的鲜虞人还只是一小部分，他们的大队人马还在陕西和山西两省交界的黄河沿岸地方。历史发展到春秋中期时，秦穆公开始整合关中，鲜虞族在内的各部狄人受到威胁，纷纷涌入到晋国还未控制的山西地区。遍观春秋史，我们可以知道，晋国能做大的原因就是它消化蚕食掉了曲沃周边的狄人领土。不过长时间的两线作战，使得晋人颇为心力憔悴，于是晋国大臣魏绛提出了一项策略——和戎。简单来说，魏绛和戎类似后世中原王朝和草原民族的互市。
需要注意的是，晋国的和戎政策完全是个杀人不见血软刀子，他们用货物逐渐麻痹狄人，并趁机蚕食狄人的土地（狄人的领土都是可利用的耕地），待到时机成熟，晋人的屠刀就会毫不犹豫的挥下。不过鲜虞人显然不相信晋国的诚意，他们的一部分人在首领的带领下沿着汾水到达今太原地区后，又顺着另外一条河流滹沱河到达了今平型关，之后鲜虞人越过太行山来到了如今的石家庄—保定地区。和鲜虞一起来到河北平原还有源出一族的肥、鼓等部。由于鲜虞实力最强，东迁的狄人形成了以鲜虞为核心的部落联盟。鲜虞、肥、鼓三族虽然源出同族，但彼此间却有许多遗留的历史矛盾。正好，大体整合完山西之地的晋国正好利用了三国的矛盾。公元前530年，晋国统帅荀吴借道鲜虞，对肥、鼓两国发动突然袭击，一举将其攻灭。
肥、鼓（国都昔阳，位于石家庄藁城区）地处太行八陉之井陉口的冲要之地，晋国攻灭二国就如同拿到了东出太行山的一把钥匙。次年，晋军利用鲜虞国疏于防备，突然发兵攻破鲜虞的重镇中人城。中人城，地处太行山脉与河北平原交界之地。鲜虞人之所以将国都设立于此，就是希望在时局不利的时候退回太行山上，以备卷土重来。中人之战后，鲜虞与晋国从此结仇，截止到三家分晋前夕，两国之间的斗争历经40余年尚未停歇。公元前457年，赵氏家族掌舵人赵襄子发兵讨伐鲜虞，再次攻破并摧毁了中人城，残存的鲜虞人纷纷逃往太行山。
公元前414年，中山武公再次复国。当然，中山能复国一则是太行山为他们提供了庇护，二则完全是得益于当时的混乱局面。当时中原有多混乱，西汉刘向曾在《书录》中如此记载：
篡盗之人，列为侯王；诈谲之国，兴立为强。是以转相仿效，后生师乏，遂相吞灭，并大兼小，暴师经岁，流血满野，父子不相亲，兄弟不相安，夫妇离散，莫保其命，湣然道德绝矣，晚世益甚。万乘之国七，千乘之国五，敌侔争权，盖为战国。
立国之后，中山武公第一个目标就是向赵国复仇，恰好赵国刚刚经过夺位内乱，无力抵抗中山。随即，赵人向魏文侯求援。这时魏国刚刚击败秦国取得河西，正在考虑用兵方向。正好，赵人送来了请帖。公元前408年，魏国大将乐羊率军越过赵国攻击中山，中山国君桓公以乐羊之子为质强迫乐羊退兵，乐羊不为所动。经过三年苦战，立国九年的中山再次被攻灭。与上次一样，中山残余族人再次逃到太行山中，经过26年的力量积累，中山桓公于公元前380年再次复国，并将都城迁到了灵寿（今石家庄平山三汲乡）。通过观察中山都城的位置，我们可以发现中山国已经吸取了之前晋军轻易通过井陉、魏军轻易越过滹沱河的国防教训。当然，此次中山再次复国还得需要感谢秦献公带领的老秦人在关中牵制了魏军主力。
中山复国17年后，中山国君与赵、魏、韩、燕结盟，并共同称王，史称“五国相王”。五国相王后，中山国因为地处偏远，冷眼旁观列国争霸，偶尔还会发兵对赵国趁火打劫。不过，公元前315年齐宣王灭燕之战，则彻底打破了中山国平静的生活。本来，燕国和中山国是盟友关系，二者虽有龌龊却大多以合作居多。可这次，中山王动了贪心，不但没有及时支援燕国，还发兵趁火打劫，攻略了燕国下都在内的数百里土地。
表面上看，中山扩张了土地。实际上，中山破坏了与燕国的盟友关系，失去了列国中的唯一盟友。这也为后来赵武灵王攻打中山，燕国趁机报复埋下了伏笔。自此以后，中山开始陷入两线作战，在赵国、燕国的轮番攻击下，其国土面积日益萎缩。公元前296年，赵军攻破中山国都灵寿，中山国彻底灭亡。
