В 1916 году он был призван в Русскую императорскую армию. Участвовал в боях на Первой мировой войне сначала рядовым, затем стал унтер-офицером. За мужество и доблесть был награжден Георгиевским крестом. В 1918 году Рабцевич стал партизаном отряда, действовавшего в Бобруйском уезде против немецких оккупантов и войск польского корпуса генерала Довбор-Мусницкого. В конце этого же года вступил в Красную Армию, воевал на Петроградском фронте. В 1920 году Александр окончил школу комсостава РККА и был назначен начальником команды пеших разведчиков 29-го стрелкового полка.

Храброго и сметливого белоруса заметили в «органах» и предложили «интересную работу». Оказалось, эта работа стала смыслом всей его жизни. По линии «активной разведки» ОГПУ СССР Александр Рабцевич в 1921 году был послан в захваченную Польшей Западную Белоруссию, где до 1925 года участвовал в партизанском движении. После отзыва в Советский Союз работал в органах ОГПУ.

В 1937-1938 годах в период гражданской войны в Испании сотрудник советской внешней разведки Александр Рабцевич принимал непосредственное участие в боях с фашистами генерала Франко, командовал разведотрядом 18-й бригады республиканской армии. Лично захватил в плен франкистского полковника. В одном из разведвыходов в тыл противника был ранен. За успешное проведение разведывательных операций и руководство деятельностью боевой группы он был награжден орденом Красной Звезды.

Сразу после начала Великой Отечественной войны, в июне 1941-го, Александр Рабцевич был назначен командиром роты, а затем стал командиром батальона в Отдельной мотострелковой бригаде особого назначения НКВД СССР (ОМСБОН). Задачами войскового соединения было наносить удары по вражеским тылам, организовывать партизанское движение и выполнять отдельные разведзадания Верховного Главнокомандования.

В начале июля 1942 года в 24 километрах от Бобруйска был десантирован на парашютах личный состав партизанского отряда особого назначения. Отряд получил название «Храбрецы», а командовал им Александр Рабцевич. Уже через несколько дней была проведена первая операция – захват молокозавода, на котором работали советские военнопленные. Вся охрана была перебита, добыто много оружия, а освобожденные пленные пополнили ряды партизан.

Отряд Рабцевича начал вести постоянную разведку военных объектов фашистских захватчиков. В августе 1942 года партизаны получили детальные данные о расположении немецких складов, аэродромов и функционировании железнодорожных коммуникаций по Витебской, Могилевской и Гомельской областям Белорусской ССР. Советская дальняя авиация стала наносить удары по выявленным важным военным объектам, нанося врагу огромный ущерб. В 1943 году накануне Курской битвы партизанам с «Большой земли» доставили по воздуху магнитные мины. «Храбрецы» начали пускать под откос вражеские поезда. В сентябре 1943-го на станции Осиповичи ими были одновременно взорваны четыре эшелона с боеприпасами врага. Станция горела двое суток.

Отряд «Храбрецы» стал одним из самых результативных среди партизанских формирований, действовавших в Белоруссии. Всего бойцы Александра Рабцевича провели более 200 диверсий на железной и шоссейной дорогах, подорвали 91 эшелон, 24 танка, 23 бронемашины, бронепоезд, уничтожили много важных военных объектов и живой силы противника

Указом Президиума Верховного Совета СССР от 5 ноября 1944 года за образцовое выполнение заданий командования в борьбе против немецко-фашистских захватчиков в тылу противника и проявленные при этом отвагу и геройство майору государственной безопасности Рабцевичу Александру Марковичу было присвоено звание Героя Советского Союза.

В 1945-1952 годах Александр Рабцевич работал в органах Министерства государственной безопасности Белорусской ССР. Затем сказались старые раны и герой-разведчик ушел в запас по состоянию здоровья. Жил в Минске. Скончался 11 апреля 1961 года, похоронен на Военном кладбище в белорусской столице. Имя Героя Советского Союза носит улица в поселке Кировск Могилевской области.