Родился в Петербурге. Учился в художественной школе при Императорском фарфоровом заводе. Продолжением художественного образования стало обучение в Центральном училище технического рисования барона А. Л. Штиглица в Петербурге. В 1904 году поступил на работу в Императорский фарфоровый завод, где продолжал работать и после Октябрьской революции. Долгие годы свою творческую работу на заводе Скворцов совмещал с педагогической деятельностью, возглавляя подготовку живописцев для завода.

Имея прекрасное художественное образование и многолетний опыт работы на фарфоровом заводе, Скворцов стал в итоге одним из наиболее опытных художников по росписи фарфора. Главной его специализацией стала портретная живопись. В совершенстве владея живописной техникой, Скворцов не раз выполнял портреты видных государственных и политических деятелей. Также он мастерски расписывал фарфоровую пластику. Его рукою были расписаны шахматы «Красные и белые» Н. Данько, скульптура Я. Троупянского «Ф. Шаляпин в роли Бориса Годунова» и «Ликбез по радио» К. Рыжова.

Свои авторские произведения и расписанные скульптуры А. А. Скворцов подписывал монограммой из букв «С» и «А». Среди работ художника стоит выделить чайную пару с портретом М. И. Калинина, кружку и чайную пару с портретами А. В. Луначарского, вазы с портретами И. В. Сталина и А. А. Жданова.