大正九年（一九二〇年）、高知市の生まれ。安岡家は幕末に土佐勤皇党員を多く出した郷士であり、戊辰戦争も戦った。父は陸軍獣医官であり、一家は千葉、香川、東京、ソウル、弘前と転々とする。そうしたせいもあってか、問題のある少年だったようで、東京市立一中時代には教師の実家の禅寺に寄宿させられる。やがて肋膜炎を患い家に帰されると、浪人生活時代に古山高麗雄と遊び歩いた。

 慶應義塾大学文学部予科に進むが、昭和十九年(一九四四年)に学徒動員、満州に送られる。射撃の腕は部隊一だったが、銃の手入れが悪いと叱責されていたという。肺結核で除隊となり帰国、やがて敗戦となり、陸軍少将の父は失職。さらに結核から脊椎カリエスを患い、大学を卒業したものの学費未納で卒業証書が貰えなかった。それでも、コルセットをつけながら吉行淳之介、阿川弘之と盛り場を遊び歩いたという。のちに、このころの「悪友」たちが、「第三の新人」と呼ばれるようになる。

 昭和二十八年、選考が賛否両論真っ二つに割れながら「悪い仲間」「陰気な愉しみ」で芥川賞を受賞（写真は当時）。ほどなく脊椎カリエスも快癒し、精力的に創作活動に取り組む。土佐の祖先の事跡を調査した『流離譚』や、昭和五十二年に一大ブームを巻き起こした『ルーツ』（アフリカ系アメリカ人の祖先を探ったアレックス・ヘイリーの著書）の翻訳などで知られる。

 芥川賞はじめ多くの文学賞の審査員をつとめ、文壇の重鎮でありつづけ、平成二十五年（二〇一三年）一月二十六日、九十二歳で没した。