安政6年（1859）、師の佐久間象山（さくま　しょうざん）にあてた興学私議は、小林虎三郎が幽閉中につちかった思想の結晶だった。「私議」という個人的な見解を述べるものだったが、真の学問の不在を嘆くものであり、後の国漢学校の創設に大きな影響を与えた。

「嘉永6年ペリーが来航してから、水兵、陸兵を強化し、大砲や巨艦を作り、砲台を固め、オランダに航海術を学び、藩学院を建ててきたが、その効果はあがっていない。外敵はますます大胆になるが、こちらは戦々恐々として、彼らの機嫌をうかがう状態である。この災いの根源は、真の学問が不在であるからだ。文武百官は皆、職名をつけているが、実は虚名であって、何も学んでいない。また学者は私見を述べるだけで、意見を交換したり、互いに学び合うことをしない。兵を知らないものが軍を率い、学ばざるものが執政の職にあるという風である。ところが西洋の様子をみると、その学問の精密なことに驚く。しかも学校を興し、人材を養成し、兵を強くしている。しかるに我が国は改革の命が下って6、7年もたつのになんの効果もあがっていない。これはすべて人材に乏しいからである。
では、教養を広め、人材を育成するとはどういうことか。それは道と芸である。道は人の生きるべき体（道）を明らかにする。芸は用を達す、つまり実際に事を処理する術をいう。この二つは離れてはならないものである。今、江戸では大学（昌平黌）、講武所、蕃書調所があるが、三者の間には何も連絡がない。これでは効果があがらない。学の閉鎖性を破るには、三者が密接に統合されるべきである。その三学の制より、もっと根本的に考えなければならないのは小学である。西洋では、この小学の法がよく整っていると聞く。基礎から人材を養成していけば、国は富み、兵は強くなる。だから国家は、学問を興し、教育を普及させ、人材を育てて、世界の国々と肩を並べるべきだ。」