小楠は、文化13年（1816年）、8歳で藩校の時習館に入校。天保4年（1833年）に居寮生となり、天保7年（1836年）には講堂世話役、天保8年（1837年）には時習館居寮長（塾長）に。下津久馬（休也）とともに居寮新制度を建議したが、採用されるものの実施過程で頓挫、しかし家老の長岡是容の後ろ盾を得たということ。

天保10年（1839年）、30歳のときに藩命で江戸に遊学、林檉宇の門下生となり、佐藤一誠、松崎慊堂らに出会い、江戸滞在中に幕臣の川路聖謨（としあきら）や水戸藩士の藤田東湖などと知り合う。

しかし、同年12月25日に藤田東湖が開いた忘年会の帰りに、さらに酒を飲んで藩外の者と喧嘩したことで、翌天保11年（1840年）2月9日、藩の江戸留守居役から帰国命令を下され、帰藩後70日間逼塞に。

この間、小楠は朱子学の研究に没頭、翌年頃より、長岡是容、下津久馬、元田永孚、萩昌国らと研究会を開いたのが「実学党」となり、筆頭家老の松井章之を頭目とする「学校党」と対立したので、藩政の混乱を避けるため長岡が家老職を辞職し、研究会も取り止めに。小楠は「時務策」を起草。

安政元年（1854年）7月、小楠の兄時明が48歳で病死。兄の長男左平太はまだ10歳のため、小楠が兄の末期養子として家督を継ぐことに。しかし50歳近くになっていた小楠は、「これから俗事を務めるようなことは、誠にもって迷惑至極」と広言したそう。この頃に考え方の対立で元家老の長岡と絶交。

安政2年（1855年）5月、農村の沼山津（現・熊本市東区沼山津）に転居、自宅を四時軒（しじけん）と命名、自身の号も地名にちなんで沼山（しょうざん）。後には、坂本龍馬、井上毅、由利公正、元田永孚などがこの小楠宅を訪問することに。

安政4年（1857年）3月、越前福井藩主松平春嶽の使者として村田氏寿が小楠を訪問、福井に招聘され、小楠は内諾。8月、春嶽は正室勇姫の父で、岳父の熊本藩主細川斉護（なりもり）に、書状で小楠の福井行きを願ったが、斉護は小楠の実学党による藩校の学風批判などから謝絶。しかし春嶽らがその後も要請した後、ようやく承諾を得て、小楠は翌安政5年（1858年）3月に福井に赴き、賓師として50人扶持の待遇で藩校明道館で講義を行うことに。小楠は、同年12月、弟の死去で一旦熊本に帰郷したが、翌年ふたたび福井藩からの招きで福井に滞在。同年12月、実母が危篤との知らせが来たため熊本に帰郷したが、万延元年（1860年）2月、3回目の招きで再び福井へ。

この頃、福井藩内では、保守と進歩の両派が対立、このために小楠は「国是三論」を著し、挙藩一致を呼びかけたということ。文久元年（1861年）4月、江戸に赴き、福井藩前藩主の春嶽と初対面。この江戸滞在中、勝海舟や大久保忠寛（一翁）と交流をもったそう。

小楠の招聘を藩主春嶽に進言したのは橋本左内で、左内は開国交易を説き、攘夷派だった春嶽を変貌させ、招聘した小楠を政治顧問として小楠と共に藩政改革を行い、春嶽を徳川幕藩政治の中枢に押し出したということ。

福井藩はそれまで倹約一辺倒だったが、小楠の進言で倹約して得た資金を貿易や商品開発に注ぎ込んで、富を増やすことに取り組んだということ。殖産興業として農村での養蚕を奨励して絹、生糸の増産に取り組み、三岡八郎（由利公正）を指導して名望のある商人を集めて安政6年(1859年）に物産商会所を作り、生糸、茶、麻などを扱い藩が長崎で販売、利益を農民に還元するという富国策。そして3年後には、貿易高が3百万両にもなり、藩の金蔵には見たこともないほどの蓄えが出来るなど、絶大な効果と利益をあげたそう。

小楠は、足りない資金は藩札を発行して補うことを提案、責任者の三岡八郎（由利公正）は、藩札はいつ紙切れになるかもしれないと商人や農民は警戒するのではと三岡が言うと、小楠は要求があったときは必ず藩札を小判などにかえると約束するように指示、渋る三岡に小楠は、公欲に立って殖産、貿易を行うためには生産者にそう約束するのが徳だと説得、三岡は村や町を説得に回ったということ。それまで三岡は「銭勘定に堪能で武士にあるまじき」と周囲から軽んじられていたが、小楠のおかげで藩改革が成功すると、まわりの態度が一変したそう。三岡は、小楠が弟死亡の知らせで一時熊本へ帰国したときに同行し、毎夜、小楠と酒を酌み交わし議論、3年後再度熊本に小楠を訪ねたということ。

小楠は文久元年（1861年）10月、7人の福井の書生を連れ、熊本の沼山津へ帰郷、11月26日に狩猟に出掛けた際、藩主専用の鷹狩の場所だった沼山津の沼沢地で、残った弾を射放したことを咎められて謹慎処分に。

文久2年（1862年）、小楠は福井藩から4回目の招きを受けて。7月に江戸の越前松平家別邸へ行き、幕府の政事総裁職となった春嶽の助言者として幕政改革に関わることに。小楠は、参勤交代の廃止、海軍の設立、人材登用などを盛り込んだ「国是七条」を提言。8月、大目付岡部長常に招かれて「国是七条」について説明を行い、一橋邸で慶喜に対面して幕政について意見を述べ、またこの頃、坂本龍馬、岡本健三郎と福井藩邸で初会合。

小楠は、文久2年（1862年）12月19日、熊本藩江戸留守居役の吉田平之助の別邸を訪れて熊本藩士の都築四郎と谷内蔵允と酒宴。そして谷が帰った後に3人の刺客（熊本藩足軽黒瀬一郎助、安田喜助、堤松左衛門）が襲撃。不意のことだったので、小楠は床の間の大小の刀を手に取れなかったので、身をかわして宿舎だった常盤橋の福井藩邸まで戻り、予備の大小を持って吉田の別邸まで戻ったが、既に刺客の姿はなく、吉田兵之助と都築四郎は負傷、吉田は後に死亡。

小楠は、この事件後、文久3年（1863年）8月まで福井に赴いたが、熊本藩では、事件の際の「敵に立ち向かわずに友を残し、一人脱出した」という小楠の行動が、武士にあるまじき、士道忘却のふるまいとして非難されて、小楠の処分が沙汰されたが、福井藩は、国家のために尽くしている小楠が襲われたことが重要で、武士道を欠いた者と一緒にしてはいかん、刀を取りに戻ったのは当然のことと小楠を擁護。

同年12月16日、熊本藩では、寛大な処置として小楠の切腹は免れたものの、知行の150石は召上のうえ士席差放の処分となり、小楠は浪人に。

元治元年（1864年）2月、坂本龍馬は勝海舟の遣いで熊本の小楠を来訪。小楠は龍馬に「国是七条」を説いたが、このときに徳富蘇峰と蘆花の父徳富一敬も同席したそう。この際、小楠は兄の遺子で甥の左平太と太平を神戸海軍操練所に入所できるよう、龍馬を通じて海舟に依頼。その後、慶応元年（1865年）5月にも龍馬が小楠を再訪、第二次長州征討の話題となった時、小楠が長州藩に非があるため征討は正当だと主張し、龍馬と口論に。

 慶応3年（1867年）12月18日、長岡護美と小楠に、大政奉還直後の朝廷から新政府への登用通知が京都の熊本藩邸に送られたが、藩内では小楠の登用に異論が多く、家禄召し上げ、士席剥奪状態なので「病気辞退」を申し出て、小楠の門人の登用も断ったそう。

翌年（1868年）3月5日、参与となった長岡護美が小楠の辞退を申し出る書を副総裁の岩倉具視に提出、しかし岩倉は小楠を高く評価していたため、3月8日に改めて小楠に上京の命令が。熊本藩は小楠の上京を認めるしかないと決定、3月20日に小楠と都築黙兵衛（都築四郎）の士席を回復、3月22日に上京を命じられ、4月11日、大坂に到着。小楠は4月22日に徴士参与となって閏4月4日に京都入り、閏4月21日に参与に任じられ、翌22日に従四位下の位階を。しかし激務で体調を崩し5月下旬に重篤な状態になったが、9月には回復、岩倉具視の私邸に毎晩招かれて相談に乗っていたということ。

明治2年（1869年）1月5日午後、小楠は、駕籠に乗って参内の帰途、京都寺町通丸太町下ル東側（現在の京都市中京区）で十津川郷士ら6人組（上田立夫、中井刀禰尾、津下四郎左衛門、前岡力雄、柳田直蔵、鹿島又之允）に襲撃され、暗殺、享年61歳。

殺害の理由は「横井が開国を進めて日本をキリスト教化しようとしている」といった事実無根なもので、実際は小楠は、キリスト教が国内に入れば仏教との間で争いが起こり、乱が生じることを懸念していたということ。

この事件はまた、弾正台（それまでの刑法官監察司に代わる監察機関として設置された）の古賀十郎ら、新政府の開国政策に不満を持つ攘夷派が、裁判で小楠が書いたとする「天道覚明書」という偽書を作成、横井が秘かに皇室転覆を企てたとする容疑で告発するなど大混乱になり、紆余曲折の末、実行犯の4名（上田、津下、前岡、鹿島）が明治3年（1870年）10月10日に処刑。なお、実行犯の残り2人のうち柳田は襲撃時の負傷で明治2年（1869年）1月12日死亡し、中井は逃走して消息不明、その他、実行犯の協力者3人が流刑、4人が禁固刑に。

尚、小楠の四時軒は、今は有形文化財として、横井小楠記念館と共に運営（資料館のみ公開、熊本地震の被害で休館中）。
また小楠の福井での一番弟子、三岡八郎（由利公正）が起草した「五か条の御誓文」にも小楠の理念が盛り込まれている縁で、現在福井と熊本は姉妹都市に。

海舟の言うには、「小楠は、はじめて会った時から、途方もない聡明な人だと心中大いに敬服して、しばしば人を以ってその説を聞かしたが、その答えには常に「今日はこう思うけれども、明日になったら違うかもしれない」と申し添えてあった。そこでおれはいよいよ彼の人物に感心した」ということ。海舟は咸臨丸でアメリカに行った経験について、小楠に問われるままに米国事情を伝えたとき、小楠は細々としたことに関心をもたず、政治体制にたいへんな興味をもったそうで、後に、「将軍は政権を返上して、開明的な大名や、武士や、市民まで動員して、有能な人々による共和政府を作るべきだ」と主張するように。

要するに小楠は、勝から聞いた耳学問をもとにして、日本の新しい政治体制を考え出したわけですね。

海舟はまた、「俺はいままでに天下で恐ろしい人物を二人見た。それは横井小楠と西郷南州だ。小楠の思想を西郷の手で行われたら敵うものはあるまい。」「横井小楠は他人には悟られない人物で、その臨機応変は只者でなく、どんなときも凝滞がない。つまり｢活理｣というものがあった」と評し、「大久保利通などは、維新後、小楠を政府に招いたけれど、大したことはない人間だ、と言っていたが、これは大久保に目がないのであって、小楠はそんな人間ではない。普通のものさしではとても計りきれない人間」とさえ評したそう。小楠はものにこだわらない人間だから、定見なしで機に臨み、変に応じて処置する余裕があり、失敗を利用して逆に手柄をたてることを考え出す天才的な人物とも。