평북 의주(義州) 사람이다. 만주에서 서로군정서(西路軍政署) 의용대원으로 활약하였다. 3·1운동을 계기로 만주지역을 중심으로 무장투쟁론이 적극 대두되었으며, 재만 동포들의 절대적인 지지 하에 70여 개의 독립군부대가 편성되었다. 이들은 압록강과 두만강을 넘어 국내진공작전을 전개, 일본군 국경수비대를 교란시키는 무장활동을 전개하였다. 또한 청산리전투와 봉오동전투에서 만주에 진출한 일본군을 격퇴하였다. 이 양전투에서 크게 패한 일제는 독립군을 섬멸시키고자 혈안이 되었다. 허효겸은 1921년 2월 중국 관전현(寬甸縣)에서 서로군정서 의용대원으로 활동하였다. 그가 활동한 서로군정서는 그 본부를 유하현(柳河縣)에 두고 있었으며, 김동삼(金東三)·이상룡(李相龍) 등이 중심이 되어 활동한 무장독립운동단체였다. 서로군정서에서는 모집한 군자금과 양성된 독립군을 바탕으로 국내 및 서간도 지역의 친일세력을 제거하는 한편 국내로 들어가 적 주재소와 관공서를 습격, 파괴하는 활동을 전개하였다. 그는 이러한 무장항일 투쟁을 전개하던 중 일경의 습격을 받아 고자구(蒿子溝)에서 피살 순국하였다.

정부에서는 고인의 공훈을 기리어 1998년에 건국훈장 애국장을 추서하였다.

• 韓國獨立運動史(文一民) 287·565面
• 獨立新聞(1922. 11. 8)
• 韓國獨立史(金承學) 下卷 302面