咸丰元年（公元1851年），出生于上海浦东的杨斯盛，因为父母早逝，家境贫穷，不得不在十三岁时出来谋生。
杨斯盛虽然年纪小，但干起活来手脚麻利而且乐于助人。有一次，他帮一位厨师砌炉灶，炉灶很好用。于是，厨师便把他介绍到上海海关的后厨里砌炉灶。洋人发现这位少年很勤快，便把他留在海关负责维修房屋工作。杨斯盛没想到砌个炉灶，竟然改写了自己的人生。
虽然没读过书，但杨斯盛很聪明，不放过任何学习的机会，而且总跟洋人打交道，竟然还学会了英文。学习让杨斯盛的眼界放宽，随后，他用打工积蓄开了一家杨瑞泰营造厂，因为努力肯干，公司运营良好。
光绪十六年（公元1890年），清政府重建上海海关，因为建筑难度大，同行竟然没有敢来投标的，反而有几家外国公司前来投标，这件事对杨斯盛触动很大——知识匮乏太可怕。此后，杨斯盛通过努力终于中标，并亲自督工建造，海关终于建成，是当时上海最显赫的西式建筑。
杨斯盛从此跻身于上海滩富豪之列，他在建筑业口碑极佳，许多业务纷至沓来，但杨斯盛并没有马上接手其他业务，反而投资办起了学校。先是在自家宗祠里设立私塾，招收贫穷子弟入学，不收任何学杂费。杨斯盛此举惹来同行们纷纷嘲笑，放着生意不做，办什么学校，而且还是免费的，不是吃饱了撑的，就是没事烧钱玩。家人也不理解，极力劝说杨斯盛放弃办学。
杨斯盛深有感触地说：“小时候条件不好，没有机会读书，好在自己有机会弥补，才得以将生意做大，没有知识寸步难行。我现在有能力，让失学的孩子们有书读，而读书就得建学校，这样才能将知识传播出去。”
虽然不被理解，杨斯盛依然坚持。1904年，在上海公共租界梅白克路，杨斯盛出资兴建了广明小学和广明师范讲习所。为了让学校越办越好，杨斯盛特意请来当时知名学者黄炎培助教。
1905年，杨斯盛又在上海浦东购地建校，前后出资共计十六万两白银。杨斯盛如此大手笔建校，引来社会各界诸多猜疑。有好事者纷纷传言，杨斯盛如此下血本，是沽名钓誉，为以后进入政界铺路。
于是，有位学政官员在视察学校之后，准备将杨斯盛捐资办学之事奏请朝廷奖励。杨斯盛却笑着说：“办学，乃以博青紫耶？”意思是说，我办学难道是为了获得高官厚禄吗？学政官员不解地问：“不图当官那为了什么呀？”杨斯盛意味深长地说：“我就是喜欢听读书的声音。”
1907年，上海“私立浦东中学”终于建成，黄炎培被聘为首任校长。随后，杨斯盛又出资白银十二万两，为学校添置诸多设备。为建浦东中学，杨斯盛前后捐资达三十多万两白银，占其家产总值的三分之二，而杨斯盛的家庭生活却极其简朴，家人为此取笑他是“毁家兴学”。
杨斯盛“毁家兴学”终有成就，上海浦东中学迅速跻身于名校行列，享有“北南开，南浦东”的盛誉。杨斯盛为此写下“勤、朴、诚”三字，以告诫并勉励师生们。而许多优秀学生如历史学家范文澜、物理学家王淦昌等等，都是从浦东中学毕业或结业，成长为国家栋梁。
美丽整洁的校园里，琅琅的读书声清脆悦耳传得很远很远，曾经对杨斯盛捐资办学而极尽诽谤之人，终于明白了杨斯盛的“喜听书声”并非戏言，世上唯有读书声才是最美妙悦耳的。
杨斯盛终其一生捐资办学，自己却从不插手学校事务，而且对家人也立下规矩：“杨氏子孙不得干涉校产校务。”真正做到只喜听书声，决不沽名钓誉，在所有捐资兴建的学校里，没有一所是以他的名字命名的。
生命不息，办学不止。1908年，杨斯盛病重，却还牵挂学校发展以及学生费用问题，他对黄炎培说：“余于校务无所憾，未能悉免诸生学费，苟天假余年，以余在工商业上之信誉，岁入且巨万，誓必悉以付吾校及其余公益。”黄炎培为此感慨地说：“杨先生毁家兴学，一切为了教育，没有一丝一毫为个人立名。”
1908年，杨斯盛去世，黄炎培为他题写墓碑“静听书声”，希望杨斯盛在另一个世界里，能继续听到读书的声音。