Алексей Александрович Козлов родился в 1831 году в Москве; он был незаконнорожденным сыном помещика И. А. Пушкина, приходившегося дальним родственником поэту А. С. Пушкину, и вольноотпущенной крестьянки. Вскоре после рождения сына его мать вышла замуж за приказчика А. П. Козлова, от которого будущий философ и получил свою фамилию.
С 1843 Козлов учился в 1-й Московской гимназии, а в 1850 поступил на физико- математический факультет Московского университета. Проучившись там около года, он перевёлся на историко-филологический факультет и в 1856 закончил университет со степенью кандидата.