1889년 1월 5일 서울 동대문 안 한성 동부 건덕방(健德坊) 어의동(於義洞, 현 종로구 효제동)에서 부친 김해 김씨 안경공(安敬公) 영정파(永貞派)인 귀현(貴鉉)과 모친 경주 김씨 점순(点順)의 3남 1녀 중 2남으로 출생하였다. 본관은 김해(金海)이고, 호는 한지(漢)이다. 부친 김귀현은 구한국 군인이었으나 한말의 격동하는 시대 상황 속에서 퇴직하여 곡식가루의 불순물을 거르는 체를 만드는 가내 제작소를 시작하였다. 김상옥은 1897년 8세경부터 말총으로 체의 얼개미를 만드는 쳇불노동을 시작하였다. 당시 집안 사정은 몹시 어려웠다. 1903년 14세에 대장간에서 일하면서 대장간 이지호(李之鎬) 노인에게 한문을 배웠고, 교회에 나가기 시작하였다. 최초로 나간 교회는 연동교회로 보이나, 1905년경부터는 동대문교회로 옮기고, 밤에는 동대문교회 부설 신군학교 안에 별도로 설치된 신군야학에서 배움에의 목마름을 달랬다. 신군야학의 운영은 동대문교회 외국 선교사 측과 갈등을 빚었다. 이에 18세 때인 1907년 9월경 양사동보통학교(1895.11 개교)와 양현동보통학교(1896.8 개교)가 어의동공립보통학교(현 효제초등학교 전신)로 통합됨으로써 양사동보통학교 건물을 동흥학교가 쓰게 되자 김상옥은 동흥야학을 만들어 불우 청소년들에게 배움의 기회를 주면서 자신도 공부하였다. 이후 동흥학교와 함께 동흥야학은 관립 어의동공립보통학교에 흡수된 것으로 보인다. 1910년 21세 때 미국 유학의 꿈을 품고 황성기독교청년회관(YMCA) 부설 야간 영어반에 등록하여 낮에는 대장간에서 노동을, 밤에는 영어 공부를 했다. 대장간에서의 힘든 노동은 그의 체력을 단련시켰다. 이듬해 기독교청년회관 체육교사 이필주(李弼柱, 후에 정동제일교회 담임 목사 및 민족대표 33인)의 지도하에 청년부장으로 활동하였다. 이 시기에 고등보통학교나 전문학교 학생들과 많은 친분을 갖게 되어 후일 혁신단(革新團)을 조직하는 기반이 된 것으로 보인다. 시간에 맞추어 학교에 가려고 일을 마치면 집으로 가서 선채로 서둘러 밥 한 술 뜨고 책보를 들고 달려서 학교로 갔다는 일화가 전한다. 1911년 22세 때 기독교 신앙에 대한 열정으로 동대문교회 근처에서 기독교 서점을 운영했다. 그러나 서점은 경영난으로 1년 정도로 폐업하고, 1912년 5월부터 10월까지 권서인(勸書人)으로서 삼남지방을 돌며 기독교 서적을 보급하는 한편 매약 행상을 겸하였다. 이 시기에 훗날 대한광복회(大韓光復會)와 암살단 동지가 되는 한훈(韓焄)을 만났고, 매약 행상으로 철물점을 개업할 밑천을 마련하였다. 1912년 10월 23세에 동대문 앞 창신동 신작로 변에 형 김춘옥(金春玉), 동생 김춘원(金春園)과 함께 영덕철물점을 열었다. 1913년 24세 때 경상북도 풍기에서 대한광복회가 결성될 때 채기중(蔡基中), 한훈과 함께 참여했다. 그해 10월 동대문교회에서 정진주(鄭眞珠)와 결혼하였다. 1916년 5월 동대문 앞 도로가 확장되면서 영덕철물점 자리까지 도로에 들어가자 확장된 창신동 도로가에 세내어 영덕철물점을 옮겼다. 철물점을 운영하면서도 1916년 5월 한훈, 유장열 등과 전라남도 보성군 조성면의 조성헌병대 기습작전에 참여하여 반민족 분자 2명을 처단하고 무기를 탈취하였다. 1917년 28세 때 영덕철물점에서 일본상품 배척과 민족경제운동의 일환으로 말총 모자를 제조 판매하여 선풍적인 인기를 끌었으며, 양말과 장갑 등도 제조 판매하였다. 이 시기 직공이 50여 명이나 될 정도로 번창하여 당시 돈으로 1만~2만 원(현재 화폐가치로 1억~2억 원)의 여유자금을 갖고 있었으며, 영덕철물점 뒤편 경성부 소유지를 빌려 공장과 말들이 대기하는 마방(馬房)을 확장하였다. 직공들을 위하여 공인조합을 만들어 직공들을 보호하고, 일본어 사용 금지, 금주·금연운동을 전개하였다. 동업조합을 조직하여 일본 상권에 대항하여 경영주들의 결속을 다졌다. 또한 이종소(李鍾韶)·임용호(任龍鎬)·김동계·손정도(孫貞道) 목사 등과 백영사(白英社)를 조직하여 사회계몽과 인재 양성 사업을 전개하였다. 그해 12월 다시 도로가 확장되면서 영덕철물점 일부가 도로에 편입되게 되자 집주인으로부터 임차한 철물점 부지 중 도로에 편입되는 16평을 제외한 127평을 매입하여 2층 건물을 신축하였다. 이 건물은 동대문에서 지금의 신설동으로 통하는 거리에 들어선 최초의 2층집이다. 1층 바깥채는 농기구 판매와 마차제작, 편자 박는 작업장으로 썼으며, 2층은 중국 요리점 동춘원에 세를 주고, 작은 방 하나는 사무실 겸 독립운동 본부로 사용하였다. 1919년 3월 1일 3·1운동이 일어날 것을 미리 알고 이날 오후 철물점 문을 닫고 직원들에게 직접 제작한 태극기를 주어 만세 시위에 참여시킨 후 자신도 탑골공원에 가서 독립선언식에 참여하였다. 또한 손바닥에 쓴 불 화(火)자를 펴 보이며 “시위에 참여하지 않으면 불 지른다”라고 하면서 상인들의 만세 시위 참여를 독려하였다. 그날 오후 동대문 근처에서 일본 순사에게 쫓기는 여학생을 구출하고 일본도를 노획했는데 현재 독립기념관에 전시되어 있다. 3·1운동이 전국으로 확산하는 1919년 4월 1일 박노영(朴露英, 중앙고보 졸업반)·윤익중(尹益重, 중앙고보 졸업반)·신화수(申華秀, 불교학원 졸업반)·정설교(鄭卨敎, 중앙고보 졸업반) 등의 후배 학생들과 동대문교회 내 영국인 피어슨 여사 집에 모여 혁신단(革新團)을 조직하고, 서대순(徐大順, 수하동보통학교 소사)·전우진(全宇鎭, 우편배달원)·김화룡(金華龍)·지주택(池疇澤) 등의 단원을 추가 가입시켰다. 기관지로 『혁신공보(革新公報)』를 발행하였다. 4월 17일 제1호를 시작으로 5월 11일까지 주 6회, 그 후부터는 주 1회 발행했으며, 6개월 동안 지속하였다. 『혁신공보』 발행을 지휘하였으며 박노영이 편집·취재·논설을 담당하고, 윤익중이 재정 조달과 국외에서 오신 통신문 해독을, 서대순·전우진·김화룡이 인쇄와 배달을, 신화수가 편집과 취재 일부를 맡았다. 서대순이 수하동보통학교 비밀 장소에서 등사판으로 3,000매 가량 밤을 새워 『혁신공보』를 등사해 놓으면 동지 배달대원과 함께 새벽 5시경 문 앞에서 기다리고 있다가 각기 책임 부수를 받아 배달하였다. 자신도 채소장수로 가장하고 채소 궤짝 속에 감추어 효제동에서 창신동에 이르는 지역 골목을 돌며 배포하였다. 그해 8월 『혁신공보』를 추적하던 일제 경찰에게 붙들려 40일 간 구금되어 혹심한 고문과 추궁을 당했고 기소되었다. 그러나 압수한 『혁신공보』의 등사판이 인쇄본과 달랐기 때문에 검사는 결정적 증거 부족을 이유로 석방하였고 그날로 『혁신공보』 발행을 재개하였다. 그러나 그해 10월 집이 수색을 당했고, 11월에 비밀 인쇄 장소였던 수하동보통학교 숙직실이 발각되어 인쇄 책임자 서대순이 검거되었다. 거기다 자금난까지 겹쳐 『혁신공보』를 더는 발행할 수 없게 되었다. 혁신단은 대한민국 임시정부의 도움을 구하고자 동지 박노영과 김봉신을 상하이(上海)로 파견하였다. 그러나 그들로부터 임시정부의 도움을 기대할 수 없다는 실망스러운 보고를 받았다. 1920년 1월 하순 김상옥과 혁신단 동지들은 혁신단 진로를 논의한 끝에 『혁신공보』 발간보다 일제를 직접 공격하여 타격을 가하는 강력한 투쟁, 즉 조선총독을 비롯한 총독부 고관과 친일파들을 처단하는 의열투쟁으로 방향을 재정립하고 암살단을 조직하였다. 이 시기 만주 김좌진(金佐鎭)의 길림군정서 요원인 김동순이 군자금 모집을 위해 국내에 파견되어 길을 찾던 중 암살단 조직원과 만나 김상옥 조직과 결합하고, 김상옥은 군자금을 지원하였다. 그해 3월에 상하이 대한민국 임시정부와 협의 하에 무기를 갖고 입국한 광복단 충청지구 결사대장 한훈을 만나 무기와 폭탄을 확보하고, 이들과 연합하여 5월에 정식으로 암살단을 발족하였다. 이후 6월에서 8월까지 암살단원들은 북한산 등지에서 사격을 비롯한 특공훈련에 돌입했다. 이때 사격을 연마한 김상옥은 일등 사수가 되었다. 암살단원들은 8월 24일 미국 상하의원단 42명이 중국을 거쳐 한국과 일본을 방문한다는 것을 알고, 조선총독을 비롯한 일제 고관들을 처단하고 총독부를 폭파하며 일대 시가전을 벌일 계획을 세웠다. 윤익중과 김상옥은 각자의 집을 저당하여 각 1,000원과 2,000원의 거사 자금을 만들었고, 박영효 등 사회 저명 신사들과 박승직 같은 동대문 지역 상인들의 협조를 받아 무기와 트럭 3대를 확보하였다. 암살단의 계획은 먼저 미의원단 환영 인파 속에 섞여 태극기와 미국 국기를 흔들며 만세 시위를 선도하며, 「암살단 취지서」와 상인들에게 주는 「철시경고문」을 배포하고, 트럭 1대는 폭탄과 폭약을 싣고 종로 2가에 대기하다 조선총독 이하 고관들을 습격·처단하고, 다른 2대에는 사격대를 태워 출동 병력과 장시간 전투를 벌이는 것이었다. 8월 24일 오전 11시에 한훈이 권총과 실탄을 가지고 오면 오후에 그것을 집총대(저격수) 이윤기와 서대순에게 전달하여 임무를 실행하는 것만 남아있었다. 그런데 거사 당일 오전, 일제 경찰이 예비검속 차 김상옥 집에 들이닥쳤다. 자신이 예비검속 당하여 일시 구금되면 계획 차질이 불을 보듯 하자 2층 창문을 통해 피신하였다. 이를 수상히 여긴 경찰이 사무실로 쓰던 2층 방을 수색하여 「암살단 취지서」, 「암살단 명부」 등 문건을 발견하고 경악하였다. 곧 이어 총과 탄환을 전달하러 온 한훈이 포박되었다. 그리하여 몇 개월간 준비해왔던 거사가 수포로 돌아갔다. 이로부터 3개월간 서울 시내 각처를 돌며 은신했는데, 그 기간 김동순 등 동지들이 차례로 붙잡혀갔다. 수사망이 좁혀 오자 동지 유득신에게 국외 탈출 자금을 구해 오게 하여 중국 펑톈(奉天, 현 선양(瀋陽))으로 피신하였다. 김상옥은 궐석 재판에서 사형 선고를 받았다. 그해 11월 의열단원과 함께 국내로 들어와 최경학의 밀양경찰서 폭탄 투척사건을 지원하고, 1921년 1월 김원봉의 의열단 재조직에 참여한 후 임시정부가 있는 상하이로 갔다. 같은 해 7월 임시정부 재무총장 이시영과 협의하여 임시정부 자금 모금과 서울의 여성 동지 장규동의 망명을 꾀하고자 다시 국내로 몰래 들어왔다. 서울·충청·전라 등지에서 임시정부 독립 자금을 모금한 후, 자신의 활동을 돕다 고문을 받아 심한 병중에 있었던 여성 동지 장규동을 대동하여 상하이로 탈출하였다. 이듬해인 1922년 4월 상하이에서 한당(韓黨) 혁명사령부장에 임명되었다. 그해 5월 10일 장규동이 건강 악화로 사망하였다. 김구(金九)가 장례식을 위해 관을 사라고 돈을 주었는데, 그 돈으로 일본에 복수할 권총을 사와 주변을 놀라게 했다. 1922년 12월, 일제와 단판 승부를 위해 임시정부 요인들과 협의하고, 안홍한·오복영과 함께 상하이를 출발하였다. 도중에 여비를 도둑맞아 안홍한만 대동하고 세 번째로 압록강을 건너왔다. 서울에 들어와 암살단 동지를 재규합하고, 조선총독을 비롯한 총독부 고관과 친일파 처단, 총독부 폭파 및 시가전을 준비하기 시작하였다. 12월 7일 삼판통(현 후암동) 매부 고봉근의 집을 거사를 위한 은신처 겸 한당 서울혁명사령부의 본부로 삼았다. 사람들의 왕래가 적고, 남대문 역과 가까워 조선총독이 일본 의회에 참석하려고 남대문 역에서 출발하는 때를 살피기에 안성맞춤이었다. 그 계획은 이전의 미의원단 방문 때의 거사 계획보다 규모가 더 컸다. ‘첫째, 사이토 마코토(齋藤實) 총독을 비롯한 일본 고관은 물론 친일 반역 한국인 경관들을 모두 숙청한다. 둘째, 관공서, 관저 등을 대거 불사르고 수도국, 전화국, 전기회사를 폭파한다. 셋째, 애국 군중을 동원 재편성하여 각 관공서와 경찰서를 접수한다.’ 이것이 그가 계획한 ‘단판 승부’였다. 1923년 1월 12일 밤 8시 10분 종로2정목의 경찰서 서쪽 창문을 향해 던진 폭탄이 폭발하여 폭음이 종로 거리를 뒤흔들었다. 파편이 사방으로 튀어 근처를 지나던 매일신보 사원 5명과 기생 한 명, 어린이 한 명이 중경상을 입은 것으로 보도되었다. 상하이 『독립신문』은 일제 경찰 3명을 포함하여 10여 명이 부상을 입었다고 보도하였다. 종로경찰서는 독립운동가 탄압의 본거지와 같은 곳이었다. 거사를 위한 준비로서 폭탄의 성능을 알아보기 위해 종로경찰서에 폭탄을 던져 폭파하고 삼판통 고봉근 집에 몸을 숨겼다. 종로경찰서에 수사본부가 설치되고 별동수사대까지 꾸려진 가운데 서울 전역에 비상경계령이 내려졌으며 거리의 행인들은 곳곳마다에서 몸수색을 당했다. 결국 일제 경찰 정보망에 삼판통 은신 사실이 탐지되었다. 1월 17일 새벽 4시 종로경찰서 형사부장 다무라(田村)을 비롯한 일제 경찰 21명이 동원되었다. 17명은 집 주변을 포위 매복하고, 다무라를 비롯한 4명은 담을 넘어 집 안으로 들어갔다. 이들 체포조 4명과 대치하며 총격을 가해 다무라를 처단하고, 눈 깜박하는 사이에 포위망을 벗어나 남산으로 탈출하였다. 일본 군경 500여 명이 남산을 포위하고 추적했으나 찾지 못했다. 남산을 가로질러 왕십리 안장사(安藏寺)에서 승복을 빌려 변장하였다. 짚신을 거꾸로 신고 수유리 이모집으로 가서 잠시 휴식을 취한 후 서울 시내 효제동 이태성의 집으로 숨어들었다. 이 집은 어릴 적 살던 집의 옆집으로 잘 알 뿐 아니라 장녀 이혜수(李惠受)와 자매들이 동지적인 협력을 해오던 집이었다. 이 집에 숨어 지내며 은밀하게 동지들과 접촉하였다. 그러던 중 1월 21일 동지 전우진이 일제 경찰에 체포되면서 은신처가 발각되었다. 일제 경찰은 1월 22일 새벽 군경 1,000여 명을 동원 효제동 73번지 이혜수 집 주변을 4중으로 포위하였다. 김상옥은 양손에 권총을 쥐고 효제동 73, 74, 75, 76-2, 72번지 집들의 담을 넘나들면서 3시간여 동안이나 혼자서 지붕 위와 담벼락 등에서 공격해오는 일제 경찰과 총격전을 벌여 16명을 사상케 했다. 그러나 탄환이 다해 가자 상하이를 떠나오면서 “절대로 굴복하지 않겠다”라고 했던 말처럼, 마지막 남은 한 발로 스스로 목숨을 끊었다. 향년 34세, 그곳 효제동 72번지는 태어난 집이자 순국 장소가 되었다. 일제 경찰들은 지난 열흘 동안 계속 신출귀몰한 김상옥에 혼비백산해 온지라 두 손에 권총을 쥐고 벽에 기대선 채로 숨을 거둔 그의 죽음을 감히 다가가 확인하지 못하고 어머니 김점순을 불러와 사망 여부를 확인하게 하였다. 유해는 이문동 뒷산 공동묘지에 묘비도 없이 묻혔다. 일본은 이 사건이 민심에 미칠 영향을 우려해 1개월 20일이나 보도통제하다 일반의 관심이 식어질 즈음에야 해제하였다. 이에 『동아일보』는 즉각 3월 15일자로 양면에 걸쳐 전면호외를 발행하였다. 서울 한복판에서 단신으로 수백 명의 무장경찰과 3시간이나 총격전을 벌인 예는 일제 35년 동안 전후무후한 일이었다. 임시정부에서는 김상옥 의사의 장렬한 죽음이 알려지자 1923년 2월 17일 상하이의 삼일당에서 추도식을 거행하고, 3월 1일자 『독립신문』에 그의 생애와 장렬한 서거 소식을 대대적으로 보도하였다. 대한민국 정부가 수립된 후인 1948년 10월 6일 김상옥열사기념사업협회(고문 김구, 이시영, 협회장 조소앙)가 창립되었다. 대한민국 정부는 1962년 건국훈장 대통령장을 추서하였다. 이문동 공동묘지의 묘소에 가족과 지인들의 잦은 성묘를 하자 못마땅하게 여긴 일제의 강압으로 화장하였다. 집에 모셨던 유골을 독립유공자 포상과 더불어 국립묘지로 모셨다. 김상옥 의사의 의거를 도왔던 가족들-어머니 김점순(대통령표창), 매부 고봉근(건국포장), 동생 김춘원(애족장)-도 각각 독립유공자 포상을 받았다. 1998년 5월 28일 서울 대학로 마로니에 공원에 김상옥 의사 동상이 건립되었고, 2010년 7월 2일 서울특별시 종로구 고시 제2010-33호로 인의동 101-8 종묘 동쪽 창경궁로 접점에서 종로 6가 28-1 율곡로 동대문 방향 접점 도로를 김상옥로로 명명하였다.