他克服了经费不足的困难，购置了一批实用书籍，创立了名为“养新书藏”的图书室，意为培养新式人才。他还亲手拟定《绍郡中西学堂借书略例》，规定没有条件进学堂读书的向学之人，也可以借阅书刊，无形中扩大了受教育的人群。
日后北大校长之一的蒋梦麟，就是当时这所学校的学生，他后来在《西湖》一书中这样评价学堂：“教的不但是我国旧学，而且还有西洋学科，这在中国教育史上还是一种新尝试。虽然先生解释的很粗浅，我总算开始接触西学了。”
他除了担任绍兴中西学堂校长外，还先后到杭州、上海等地，兴办新式学堂。1901年夏，34岁的他，就到上海代理澄衷学堂(现上海市澄衷高级中学)，出任首任校长；同年9月，他被聘为南洋公学经济特科班总教习。
1902年，他与蒋智由等，在上海创办了我国教育会，并出任会长；后来还创立爱国学社、爱国女学，都被推为总理。
