1924年（大正13年）、東京音楽学校（現：東京芸術大学）師範科に入学。本科の声楽部に進み、「城ヶ島の雨」の作曲家・梁田貞に師事した。学生時代は、同級の高木東六らと行動を共にしていたが、1928年（昭和3年）、学生運動で校則などに抗議したメンバーに入っていたため、高木らとともに除籍処分となった。 退学後は様々なレコード会社で吹き込むがヒット曲に恵まれなかった。1934年（昭和9年）にテイチクの専属になる。当時のテイチクのトレードマークであった楠木正成にあやかり、楠木繁夫という芸名を名乗った。1935年（昭和10年）には、古賀政男とのコンビで、「白い椿の唄」「ハイキングの唄」「緑の地平線」と大ヒットが続き、一躍大ヒット歌手となる。その後も、「女の階級」「のばせばのびる」「啄木の歌」「人生劇場」とヒットを続けるが、昭和13年にビクターに移籍したあと、これといった曲がないまま燻り続ける。
1943年（昭和18年）にコロムビアに移籍し「どうじゃね元気かね」を吹き込む。1943年（昭和18年）に三原純子と結婚。太平洋戦争中は「マニラの月」「戦果はラジオで」「轟沈」「敵白旗を揚げるまで」など、多くの軍歌・戦時歌謡を吹き込んだ。
戦後は、「トンコ節」「紅燃ゆる地平線」などのヒットもあったが、妻や自らの病気などにより一線から退くようになった。1956年（昭和31年）12月14日、自ら首を吊り52歳で死去。妻と自分の将来を悲観しての自殺だといわれている。