전남 광양(光陽) 사람이다. 황영문(黃永文) 의진에 가담하여 전남 광양 일대에서 활약하였다.

1907년 7월 일제는 「정미7조약(丁未7條約)」을 체결하여 대한제국의 군대를 강제로 해산시키는 등 식민지화를 향한 발걸음에 박차를 가하였다. 이에 분격하여 당시 전국적으로 수많은 의병이 봉기하여 일본군을 공격하거나 일진회원을 비롯한 친일주구배를 처단하는 등의 활동을 통하여 무너져가는 국권을 회복코자 노력하였다.

김응백은 이같은 시기에 황영문 의진에 투신하여 의병활동을 시작하였다. 그리하여 그는 1908년 8월 5일 황영문 의병장의 지휘 아래 의병 150여 명과 함께 총과 칼을 휴대하고 광양군 진하면(津下面) 망덕리(望德里)에 들어가 그 마을에 거주하는 일본인 석전경작(石田耕作)과 각야인평(角野仁平)의 집을 포위하고 발포하였다. 이들이 놀라는 가운데 각야인평 및 그의 가족 4명을 총격, 사살하였다. 그리고 그는 동지들과 함께 각야인평 소유의 양총 1정 등 무기류와 군수품을 노획하는 한편 그들의 가옥에 석유를 뿌리고 방화하여 소각시켰다.

같은 해 7, 8월 무렵 그는 의병활동 자금을 마련하기 위한 비상 수단으로 칼을 휴대하고 같은 면 진목정(眞木亭) 안윤석(安潤錫)의 집에 돌입하여 군자금을 징수하였다.

이후에도 그는 동지 강치선(姜致善)·고운서(高雲西) 외 2명과 함께 1908년 12월부터 1910년 1월까지 칼과 총을 휴대하고 같은 군 진상면(津上面) 비촌(飛村) 황병욱(黃炳郁)의 집에 들어가 그의 아들 송현(宋玹)으로부터 군자금을 징수하였다.

1912년 4월 12일 하동 헌병분견소 헌병대에 의해 붙잡혀, 그해 1910년 10월 26일 부산지방재판소 진주지부에서 교수형을 선고받아 공소 및 상고하였으나 12월 20일 고등법원에서 기각, 형이 확정되어 1911년 1월 16일 대구감옥에서 순국하였다.

정부에서는 고인의 공훈을 기리어 1995년에 건국훈장 독립장을 추서하였다.

• 독립운동사자료집(국가보훈처) 별집 제1집 794면