Офицерскую службу начал прапорщиком в лейб-гвардии Семеновском полку. Уже в то время он обладал даром педагога, что называется "от бога". Желая повысить свой профессиональный уровень, А.П.Карцов в 1838 г. поступил в Императорскую военную академию и в 1841 г. блестяще ее окончил первым по списку. По выпуску А.П.Карцову была вручена малая серебряная медаль, а его имя занесено на мраморную доску академии.

По окончании академии А.П. Карцов был зачислен в гвардейский Генеральный штаб. Талантливого офицера сразу заметили и стали приглашать для чтения лекций по тактике и военной истории в военно-учебных заведениях. На этом поприще А.П.Карцов приобрел репутацию отличного педагога и в 1848 г. был назначен управляющим воспитательным отделением в штабе главного начальника военно-учебных заведений. В 1849 г. он был произведен в полковники и назначен адъютант-профессором Императорской военной академии по тактике, а в 1850 г. - профессором. Прекрасно знакомый с тактикой, обладая самостоятельностью мышления и увлекательным красноречием, А.П.Карцов стал одним из популярнейших профессоров и авторитетом в области тактики и военной истории.

Составленные им "Руководство по тактике и военной истории" (в 2-х томах, Спб. 1850-1852 гг.) и обзоры войн: Северной, 1812-го, 1813-го и 1825 гг. (Спб. 1851-1853 гг.) совершенно изменили характер изучения и преподавания тактики, крепко связав ее с военной историей и в силу этого поставив ее на более практическую основу.

С 1850 г. А.П.Карцов преподавал Великим Князьям Николаю и Михаилу Николаевичам. Лучшего преподавателя в то время вряд ли можно было найти. Что было весьма почетно.

С началом Крымской войны А.П.Карцов был назначен делопроизводителем комитета по выработке мер к защите Санкт-Петербурга и Балтийского побережья, а затем членом и редактором комиссий по улучшению военного ведомства. А.П.Карцов всегда стремился все делать добросовестно. И здесь он зарекомендовал себя как профессионал высокого класса. Его деятельность в комиссии обратила особое внимание Императора Александра II, и с 1855 г. А.П.Карцов был назначен состоять в местах пребывания Его Величества для особых поручений и советов. Пожалованный во флигель-адъютанты, впоследствии он был произведен в генерал-майоры с зачислением в Свиту Его Величества. В 1856 г. А.П.Карцов назначается генерал-квартирмейстером штаба главнокомандующего гвардейскими и гренадерскими корпусами, а затем обер-квартирмейстером отдельного гвардейского корпуса.

Когда в 1858 г. подошло время Наследнику Цесаревичу Николаю Александровичу постигать военные науки, то Император Александр II, не раздумывая, пригласил для преподавания тактики А.П.Карцова. Ведя преподавательскую работу, А.П.Карцов также редактировал карманную справочную книжку для русских офицеров.

В 1860 г. А.П.Карцов принял участие в создании специальной кавалерийской школы и в конце того же года был командирован в распоряжение главнокомандующего Кавказской армией. Здесь он показал себя храбрым и мужественным офицером. В этой командировке А.П.Карцов пробыл 8 лет, принимая активное участие как в покорении Западного Кавказа, так и в создании государственного управления на Кавказе. За отличия в боевых действиях против горцев он был награжден чином генерал-лейтенанта (1861 г.), орденом Белого 0рла с мечами (1864 г.), званием генерал-адъютанта.

В 1865 г. А.П.Карцов становится помощником главнокомандующего Кавказской армией. Через три года (1868 г.) Император Александр II счел полезным назначить А.П.Карцова членом Государственного Совета, а в 1869 г. - командующим войсками Харьковского военного округа.

За выдающиеся заслуги перед Российской Империей в 1870 г. А.П.Карцов был произведен в генералы от инфантерии. В этот период А.П.Карцов принимал активное участие в перевооружении армии и переведении ее на новые штаты.