​1909年9月19日建校于石驸马大街，名为京师女子师范学堂附属两等小学堂（北京第二实验小学的前身），只招收女生,当年招收学生4个班。

1911年，更名为国立北平女子高等师范学校附属小学校, 实行三学期制。

1913年，改为男女兼收。同年夏，迁入西单手帕胡同34号（今18号）。学校注重学生知识的增长和品德的发展并重，给学生以科学、民主、自由的启迪，是普及近代科学的先锋。

1919年改名为国立北京女子高等师范学校附属小学。

1926年添设幼稚园两班。

1927年改名为国立北京师范大学附属女子小学校。

1931年改名为国立北平师范大学附属第二小学。此时的学校注重对学生的爱国主义教育，在日伪残暴、嚣张的统治下，学校师生毅然顶住奴化教育的狂潮，学习中国优秀的语言文化，学校教育学生精诚团结，不做东亚病夫。

1945年，学校更名为国立北平师范学院附属第二小学。重视对学生进行全面的教育,为培养学生爱读书的好习惯，学校还建有一座专门的图书楼，藏书达上万册，当时在北平可谓是首屈一指。

1955年改名为北京第二实验小学，同时改属中央教育部领导，成为一所实验小学。先后承担中央教育部、中国科学院、中央教育科学研究所、北京师范大学等部门教育科学研究实验任务。在普教领域发挥了巨大的作用。

1965年，著名文学家郭沫若先生为学校亲笔题写“北京第二实验小学”的校名。

1959年至1966年，先后改为由北京市和西城区直接领导的重点小学。

1966年至1976年“文革”期间校名几经更改为延安小学、手帕胡同小学、新华小学。

1978年，被中央教育部确定为全国重点小学。

1979年3月31日，恢复了“北京第二实验小学”的校名。

1986年，成为首批联合国教科文组织俱乐部成员校。

1997年，新任校长李烈创造性地提出“双主体育人”的办学思路，以“以爱育爱”为核心理念，探索新时期的教育改革，形成独特的学校文化。

2001年5月接收原新文化街二小。经两年时间彻底改造（其中拆迁了占地一千二百平方米的副食店、二十九户居民及临街铺面房），恢复了克勤郡王府（北京市文物保护单位）的原貌。

2003年9月1日作为学校低年级王府校区，正式招收一年级新生入学。

2003年9月9日，国务院总理温家宝来校慰问师生，亲笔题写学校理念“以爱育爱”。

2004年6月接收原北礼士路二小，仅用两个月时间完成改建，同年9月1日作为学校低年级官园校区，开始招收一年级新生。

2006年9月，学校原址手帕胡同18号改建为华能大厦，学校迁入新文化街134号周转，同时开始此地“北京第二实验小学还建工程”，建设新校区。

2007年12月19日,新校区投入使用。此时学校的三个校区总占地面积35500平方米，建筑面积40000平方米。六个年级，共76个教学班，在校师生3400余人。

2012年，西城区教育委员会成立北京第二实验小学教育集团。

2013年，王府校区（克勤郡王府）被评为全国重点文物保护单位。

2014年，教育综合改革中合并了两所小学（原西城区民族团结小学和长安小学），此时学校的五个校区：新文化街、王府、长安、德胜、官园，总占地面积50000多平方米，建筑面积60000多平方米。六个年级，共127个教学班，在校师生5100余人。同时，按照西城区教委安排，建立了白云路、广外、玉桃园和涭水河四所分校。

2017年，王府校区西扩工程（称为王府西院，与原王府校区合成为“大王府校区”）竣工并投入使用。当年，官园校区不再使用，交还给西城区教委。此时学校的四个校区：新文化街、大王府、德胜、长安（暂借给北京第一六一中学使用）总占地面积56800余平方米，建筑面积62000多平方米。