中日甲午戰爭后，張謇認為中國之弱在于貧，救貧之法在于實業在于教育，提出“以實業與教育迭相之用”、“實業為父、教育為母”的主張。在發展實業的同時，張謇努力興辦新式學校等各類文化教育設施。光緒二十八年(1902)，在南通創辦全國第一所民辦師范——通州師范學校，王國維在校任教。后又興辦通州女子師范學校和海門常樂鎮張徐女校等一批中、小學校。除此之外還創辦了南通博物苑、圖書館、醫學專科學校、紡織專門學校、氣象臺以及南京河海工程專門學校。

　　張謇興辦圖書館想法的產生主要是受到兩個方面的影響。其一，受紹興徐樹蘭所建古越藏書樓的影響。光緒二十六年(1900)，紹興士紳徐樹蘭創辦了具有現代圖書館性質的古越藏書樓，張謇在考察古越藏書樓之后作了一篇題為《古越藏書樓記》的文章，文章中盛贊徐樹蘭“舉其累世之藏書，樓以庋之，公于一郡，凡其書一若郡人之書”，“樓成，其鄉之人大歡”，并稱:“亦欲效先生之所為，而亦欲海內藏書家皆仿先生之所為也”。其二，受西方先進思潮以及示范效應的影響。光緒二十九年(1903)，張謇東渡日本進行了七十天的實地考察，行程中的一項重要內容就是參觀博物館、圖書館。后來的1905年，張謇在《上南皮相國請京師建設帝國博物館議》中提出:“夫近今東西各邦，其所以為政治學術參考之大部以補助于學校者，為圖書館、為博物苑，大而都畿，小而州邑，莫不高閣廣場、羅列物品，古今咸備，縱人觀覽。公立私立，其制各有不同。而日本帝國博物館之建設，其制則稍異于他國，且為他國所不及……我國今宜參用其法，特辟帝室博物館于京師。”這里特別要提到的一點是，張謇是主張圖書館與博物館合二而一的，他在南通創辦的博物苑兼具圖書館功能就是這種主張的實際體現。

　　張謇于1905年開始多次向朝廷上書。在《上學部請設博物館議》奏折中，針對西方各國包括博物館，圖書館在內的公共教育設施的先進，張謇列敷了舊式藏書樓的弊端:“(官家)則以藏庋寶于中秘，推行囿于一隅。其他海內收藏之家，扃鐍相私，更無論矣。”提出“今為我國計，不如采用博物館圖書館二館之制，合為博覽館”，如此則“上可以保存國學，下可以嘉惠士林”。在《上南皮相國請京師建設帝國博物館議》奏折中，則進一步提出了建設以國家“圖書館”為龍頭，帶動各省各地的圖書館建設，形成全國性的圖書館網絡，以使“文物典章，粲然具備”，更使“莘莘學子得有所觀摩研究以輔益于學校”。不僅如此，在兩份奏折中，張謇還提出了很多建館的具體實施方案。譬如，“最重者則擇地”、“便于交通”、“館中貫通之地，宜間設廣廳，以備人觀者憩患”、“室中宜多安窗，迎光而遠濕”、“庋閣之架，毋過高，毋過隘”等。在人員選配上提出“必得通東西洋語言文字二三員，以便外賓來觀，有可咨詢”。在圖書采集方面，則建議以當年編纂《四庫全書》為范，對獻書者“請旨給賞”。

　　上書同時，張謇還按照自己的主張在南通創建了博物苑。他“辟地四十畝，雜采植物實之。中建三樓為館，以儲三部之物。而以教育晶附焉”。其中的三部為天然、歷史、美術三部。美術部中有“經史詞章之集，方技書畫之遣”，實際上具備了圖書館的大致功能。

　　辛亥革命讓張謇最終實現了圖書館之夢，按照張謇自己的記述:“民國元年，里少年盡毀諸神祠。謇于是謀諸兄謀耆老……因岳廟為圖書館。”圖書館“計有圖書樓兩幢二十間，曝書臺五間，廂樓上下十二間，閱覽樓上下八間，兩廊辦事室十間，道故齋上下六間，燕息亭三間，庶務室、門房、廚房、廁所十三間，共六十七間，計用銀萬二千元。書櫥二百架，計用銀一千二百六十元，圖書十三萬千百卷，他人贈者五萬卷弱，謇贈者八萬卷強。職員六人:館長一，館務主任一，編輯及保管二，庶務一，收發一。規定每年館用一千六百元，增購圖書二千元，校對、裝訂費用四百元，共四千元。其預籌而未設者:兒童閱覽室、婦女閱覽室，并置巡回書庫”。這樣，張謇終于實現了建立一所真正意義上的和頗具規模的圖書館之夙愿。

　　在圖書館館舍設計方面，張謇請來中國當時著名的建筑設計師孫支夏，請他按照自己的構想進行設計。設計稿出來以后，張謇還多次提出修改意見，如今在南通博物苑里還保存有寫著張謇修改意見的圖書館設計藍圖，這已經成為一份難得的歷史文獻。

　　創建之初，南通圖書館有藏書10萬卷，幾年以后即增至14萬卷。這些藏書現大多藏于南通市圖書館古籍部，很多書中有張謇的藏書印章和他的親筆題詞。為了追求藏書建設的高規格，張謇采取了征集、抄錄、影印等手段。征集分為捐贈與有償收購兩種。如上文所述，張謇除自己捐贈“八萬卷強”之外，還收到“他人贈者五萬卷弱”。對于征集不來的圖書，張謇不惜花費人工物力抄錄和影印，甚至還多次請托駐英使節設法影印流失海外的《永樂大典》。他在給駐英使館首席秘書顧錫爵的信中這樣說:“《永樂大典》自庚申之變，沒入英吉利者近千本，在其博物苑中，以為武功之記，此中國之大恥，而故籍之所關。往時劉某出使，有為言之，或易以他書，或就抄其副。劉固俗人，不足辦此，今廷卿所主，儻其人乎？”

　　張謇還非常重視圖書的編目工作。他曾兩次聘請專門學者進行編目。他在邀請陳星函先生為其編目的信中說:“素仰先生有金版六韜之博，辯己三亥豕之訛。敬請編訂本館第二次目錄……謹奉潤敬鍛幣五百元……”言辭之間，盡顯推重之情。

　　另外，在當年轟動一時的莫里遜藏書出售事件中，張謇也曾做出積極努力，想花重金將這批典籍留存在國內。但終于敵不過日本三菱財閥巨頭巖崎久彌，使這些珍貴文獻流落東洋。