明治三十五年（一九〇二年）、英語学者齋藤秀三郎の次男として生まれた。十六歳でチェロのレッスンを始める。上智大学に入学するものの、音楽に専念するために退学する。近衛文麿の弟で指揮者の近衛秀麿に随伴してドイツに留学。チェロ奏者ユリウス・クレンゲルに学ぶ。

 帰国後、NHK交響楽団の前身である新交響楽団に首席チェロ奏者として入団し、ソロのチェリストとしてもデビューを果たす。昭和五年(一九三〇年)、ベルリンに留学後、再び新交響楽団の首席チェロ奏者となるが、演奏会での失敗を契機に、ソリストとしての活動は控えるようになった。昭和十一年、来日したローゼンシュトックに強く影響を受け、指揮者、指導者の道を歩むようになる。

 終戦後、井口基成、伊藤武雄、吉田秀和らと「子供のための音楽教室」を開設、後の桐朋学園の音楽関係学科の開設につながる。

 指揮の運動をメソッド化して教える方法を確立し、昭和三十一年に出版された「指揮法教程」はレナード・バーンスタインから絶賛された。

 写真は昭和二十九年撮影。教え子には、山本直純、小沢征爾、岩城宏之ら多士済々の顔ぶれがそろう。歿後、齋藤の教え子らが主体となって、サイトウ・キネン・オーケストラや、サイトウ・キネン・フェスティバル松本が創設された。昭和四十九年没。