Музыкант, которому посвящены многие страницы книг известнейших советских, российских и зарубежных музыковедов, увлекся джазом в 10 лет, начав собирать пластинки знаменитых джазменов тех лет. Делом всей жизни Козлов занялся в 1950-м, начав как пианист, а в 1957-м сменил инструмент на саксофон и основал свой первый джаз-бенд. По первому образованию – архитектор: в 1962-году окончил МАРХИ, отдал архитектуре следующие 14 лет, а музыкальное образование получил лишь в конце 70-х. будучи уже признанным джазменом. При его участии создавались культовые джазовые площадки столицы – кафе «Молодежное», «Ритм», «Печора», где начинали многие мэтры нашего джаза.
В 1973-м году Козловым был создан «Арсенал», чье первое выступление описано в знаменитом романе Василия Аксенова «Ожог» – оно состоялось в 1974-м, на творческом вечере писателя в ЦДЛ. За последние 45 лет «Арсенал» отметился практически во всех жанрах современной музыки, стал едва ли не самым знаменитым российским коллективом в мире, выпустил десятки альбомов, в том числе и на зарубежных рекорд-лейблах. Недавно на лейбле «ArtBeat Music», еще одном детище выдающегося музыканта, издавшем множество его альбомов, выпущена уникальная пластинка «Алексей Козлов & Арсенал / Live in Tallinn '74 (2LP)» с записью концертного сета «Арсенала» на фестивале 1974 года в столице Эстонии.