柏林禅寺建于汉献帝建安年间（196～220），古称观音院，南宋为永安院，金代名柏林禅院，自元代起即称柏林禅寺。
译经大师玄奘在西行印度取经之前，曾来此从道深法师研习《成实论》。
晚唐时，禅宗巨匠从谂禅师在此驻锡四十年，大行法化，形成影响深远的“赵州门风”，柏林禅寺因此成为中国禅宗史上的一座重要祖庭。
金代，柏林禅寺一度改为律宗道场，曾有五代律宗大德在此弘扬戒律达五十年。
金朝末年，法传临济正宗的归云志宣禅师主持法席，柏林禅寺由此革律为禅，宗风大振。
元代，柏林禅寺先后有圆明月溪禅师、鲁云行兴禅师，都是宗门大德，柏林禅寺由兹气象恢宏，成为燕赵一带的佛教中心。
明清两朝，中央朝廷管理赵州地区佛教事务的机构——僧正司设在柏林寺。当时柏林禅寺的住持往往同时兼任僧正司僧正。
柏林禅寺屡遭劫难，殿堂、经像荡然无存。到1988年柏林禅寺重新进驻僧人时，只有赵州禅师舍利塔及二十余株古柏。
1988年5月12日，河北省人民政府正式下文，批准柏林禅寺作为宗教场所开放，交河北省佛教协会管理，并逐步筹资修复。河北省佛教协会会长净慧法师亲自主持祖庭修复工作。
1989年，赵县人民政府为柏林禅寺划界问题专门下达文件，确定柏林禅寺的面积为38.5亩，并划定了四至范围。修复柏林禅寺工作开始。
1990年11月17日（农历十月初一），柏林禅寺举行佛像安座仪式，安奉汉白玉释迦牟尼佛像和观世音菩萨立像。
1992年2月初，重建普光明殿（大殿）木结构工程全面施工。
1992年8月28日，普光明殿落成开光典礼举行。 随后，柏林禅寺的修复工程次第展开。五、六年间相继落成：山门、钟鼓楼、东西长廊、观音殿、藏经楼、禅堂、怀云楼、开山楼、会贤楼、指月楼、云水楼、香积楼、古佛庵等建筑。
1997年3月，新加坡高家仁居士捐资100万元人民币，整修赵州禅师舍利塔。同年6月，指月楼、会贤楼落成。
1998年9月，河北省佛学院在柏林寺招生开学。
1998年9月30日，柏林禅寺开放十周年庆典及赵州塔修复竣工典礼、净慧法师升座仪式举行。
2001年06月25日，柏林禅寺被国务院批准列入第五批全国重点文物保护单位名单。
