В 1925 году А.Г.Головко поступил на службу в ВМФ. В 1928 году он окончил Военно-морское училище имени М.В.Фрунзе. Дальнейшее образование получил на специальных курсах комсостава в 1931 году. С 1932 года стал флагманским минером, начальником штаба бригады торпедных катеров Тихоокеанского флота. В 1937-38 годах участвовал в Гражданской войне в Испании.

В 1938 году А.Г.Головко закончил Военно-морскую академию. В период с 1938 по 1940 годы занимал посты командира дивизиона эсминцев, начальника штаба Северного флота, командовал Каспийской и Амурской флотилиями.

В 1940 году контр-адмирал А.Г.Головко был назначен командующим Северным флотом, став самым молодым не только адмиралом, но и командующим соединением кораблей такого масштаба. Северный флот участвовал в обороне северных морских рубежей и побережья Баренцева моря, обеспечил (совместно с Карельским фронтом) надежное прикрытие северного фланга советских Вооруженных Сил и морских коммуникаций для осуществления поставок союзникам.

Помимо оборонительных действий, части и соединения Северного флота активно участвовали в операциях, направленных против флота противника, его морских путей сообщения, авиация флота активно помогала частям Карельского фронта. Во период Петсамо-Киркенесской наступательной операции части флота, морской пехоты активно участвовали в боевых действиях не только в прибрежной полосе, но и на «материковой» части в полосе наступления советских войск.

В 1944 году А.Г.Головко получил звание адмирала. Северный флот оставался под его командованием до 1946 года.

В том году А.Г.Головко перешел на должность заместителя начальника Штаба Главных Военно-Морских сил, а с 19 февраля 1947 года становится его начальником, заместителем главнокомандующего ВМС. После переименования 25 февраля 1950 года в Морской Генеральный Штаб и вплоть до 6 августа 1952 года А.Г.Головко оставался его начальником и заместителем главнокомандующего ВМФ (военно-морского министра). В 1952 году он становится командующим Балтийским флотом, который был под его началом до 1956 года, когда в ноябре занял должность 1-го заместителя главнокомандующего ВМФ.

Скончался Арсений Григорьевич Головко 17 мая 1962 года в звании адмирала.

После себя он оставил книги «Первые дни», вышедшую в 1958 году, и «Вместе с флотом», вышедшую в 1979 году после его смерти.