1899년 4월 2일 경상북도 안동군 안동면 법상동(法尙洞)에서 김계한(金啓漢, 1867~1956)의 아들로 태어났다. 본관은 안동(安東)이다. 기독교 신자인 부친의 영향으로 일찍이 기독교에 입문하였다. 안동 소재의 계명(啓明)학교를 수료하고 협동(協同)학교에 진학, 졸업하였다. 20세 때 대구의 교남학원(嶠南學院) 고등과에 입학, 졸업하였다. 1919년 3·1운동이 일어나자 부친 김계한과 함께 3월 18일 안동면 2차 만세 시위에 주도적으로 참가하였다. 김익현(金翊顯, 1869~1950) 등과 함께 서로 의논하여 3월 18일 장날을 거사 일로 정하였다. 이후 안동교회를 중심으로 독립선언서를 인쇄하고 태극기를 제작하는 등 모든 준비를 마쳤다. 드디어 3월 18일 낮 12시 삼산동 곡물전 앞에서 군중과 함께 독립 만세를 외쳤으며, 온종일 안동 시내 곳곳을 다니면서 시위행진을 전개하였다. 그러다가 3월 19일 0시 50분 무렵 2,500여 명의 시위 군중이 집결하자, 일제 식민 통치기관인 군청, 경찰서, 대구지방법원 안동지청 등에 몰려가 구속자 석방을 요구하였다. 1921년 1월 계명학교 교사로 재직하면서 학생들에게 「망향가(望鄕歌)」, 「소년행진곡(少年行進曲)」, 「용진가(勇進歌)」 등 애국적 창가를 가르치고, 일제가 한국을 불법적으로 침략한 사실을 교육시키는 등 독립 정신을 고취하였다. 이러한 활동을 하다가 1921년 그해 2월 3일 일본 경찰에 붙잡혔다. 3월 14일 대구지방법원 안동지청에서 이른바 보안법 위반 혐의로 징역 1년 형을 선고받고 항소하였으나, 4월 11일 대구복심법원에서 형이 확정되어 옥고를 겪었다. 광복 이후 안동에 거주하면서 정치 활동을 전개하였다. 1956년 2월 결성된 민주당 안동군당의 감찰위원장을 맡았다. 대한민국 정부는 1990년 건국훈장 애족장을 추서하였다.