1878년 6월 23일 경상북도 안동군(安東郡) 임하면(臨河面) 천전동(川前洞, 내앞마을)에서 아버지 김계락(金繼洛)과 어머니 영해 신씨寧海申氏의 2남 1녀 가운데 맏아들로 태어났다. 본관은 의성(義城)이며, 본명은 긍식(肯植)이고, 종식(宗植)이라는 이름도 사용하였다. 자는 한경(漢卿), 호는 일송(一松)이고, 김동삼은 만주로 망명한 뒤 사용한 이름이다. 광산 김씨 김노창(金魯昌)의 딸과 혼인했으나 장녀를 낳고 죽음에 따라, 반남 박씨 박순부(朴順夫)와 재혼하여 장남 정묵(定默)과 차남 용묵(容默)을 두었다. 가학을 이어받고, 서산(西山) 김흥락(金興洛)에게 유학을 배웠다. 1905년 20대 중반의 나이에 서울을 드나들며 민족 문제와 서양 문물에 눈을 뜨고 사상적 변화를 보이다가 가장 보수적이었던 안동 지역 계몽운동의 실마리를 풀어 나갔다. 전통 질서의식이 강하게 자리 잡은 안동에 혁신의 물길을 끌어들이는 작업은 다른 지역에 비해 어려웠다. 10년 전에 서울에는 신식학교가 들어섰지만, 안동을 비롯한 영남 지역에서는 성리학적 질서가 흔들림 없었다. 그럴 즈음 상경하여 새로운 문물을 접한 류인식(柳寅植)이 1904년에 계몽운동을 시작하다가 목표를 달성하지 못하고, 1907년 3월 다시 시도한 것이 협동학교(協東學校) 설립이었다. 1907년 3월 류인식·김후병(金厚秉)·하중환(河中煥) 등과 함께 내앞마을에 3년제 중등과정인 협동학교를 세우고 교육사업에 앞장섰다. 내앞마을 의성 김씨 종손 김병식(金秉植)이 교장을, 김동삼이 교사를 거쳐 교감을 맡았다. 협동학교는 영남 사회가 변하는 교두보이자, 새로운 깃발이었다. 당시 『대한매일신보』나 『황성신문』은 협동학교 설립과 발전상을 보도하고 격려하였다. 유림의 압력과 예천의병의 공격으로 교사들이 폭살당하는 어려움을 겪으면서도 협동학교는 젊은 신지식인을 육성하는 데 힘을 기울였고, 이들이 경북 지역 곳곳으로 계몽운동을 확산해 나갔다. 서울에서 발행된 신문에서 격려 글을 게재하였고, 신민회(新民會)에서 교사를 파견하였던 사실은 이 학교에 쏠린 기대감을 잘 보여주었다. 협동학교 경영 일선에 나서는 한편, 비밀결사인 신민회와 대동청년단(大東靑年團)에 가입하여 활동하였다. 신민회와 긴밀한 관계를 맺고 협동학교를 운영하는 한편, 서상일과 안희제 등을 중심으로 한 대동청년단에 가입하여 경상도 일원의 계몽운동가들과 연대하여 활동 영역을 넓혀갔다. 이 사실은 서울과 대구, 그리고 안동을 잇는 큰 틀에서 활약한 사실과 계몽운동 노선 가운데서도 진취적이고 강성을 지닌 비밀결사체에 가담하고 있었음을 알려준다. 1910년 8월에 나라가 망하자, 국내에서 인재를 양성한다는 것이 어렵다고 판단하고 만주로 망명하여 독립운동 기지를 건설하고, 독립군을 키운 뒤에 국내 진공을 감행해야 한다는 결론에 도달하였다. 그리하여 1910년 후반 집안 동생인 김만식을 만주로 파견하여 독립운동 기지 건설에 필요한 기초조사를 시킨 다음, 같은 내앞마을 출신이자 족숙(族叔)인 김대락(金大洛)과 논의하고, 만주 망명 계획을 확정지었다. 1910년 12월 말에서 이듬해 1월 사이에 김대락·이상룡 등 안동의 주요인물들이 가족을 이끌고 출발하였고, 뒤이어 망명객이 줄을 이었다. 안동에서 추풍령까지 걸어가고, 거기에서 기차를 이용하여 신의주로 이동하였다. 걸어서 압록강을 건넌 뒤, 만주에서는 수레로 이동하는 멀고 험한 망명길이었다. 내앞마을 의성 김씨 문중, 김대락의 매부인 이상룡이 이끄는 고성 이씨 문중에서 각각 150명 정도씩 만주로 향했다. 또 이들과 혼반(婚班) 관계인 영덕의 무안 박씨務安朴氏, 울진의 평해 황씨平海黃氏, 안동의 흥해 배씨興海裵氏, 그리고 영양 주실마을의 한양 조씨漢陽趙氏 문중 등이 대규모로 참가하였다. 문중 단위, 그것도 혼반으로 얽힌 큰 단위가 움직인 것이다. 1911년 1월 압록강을 건너 남만주 류허현(柳河縣) 삼원보(三源浦)에 도착하여 신흥학교(新興學校)를 설립하고, 경학사(耕學社) 결성에 참가하는 등, 초대 사장 이상룡(李相龍)을 도와 독립운동 기지 건설에 힘을 쏟았다. 이는 안동 출신 인사들과 이회영 일가를 비롯한 신민회 회원들이 힘을 합쳐 벌인 사업이었다. 독립운동 기지를 건설하려면 동포들을 이주시켜야 하고, 경작지가 필요하고, 농사를 지을 수 있어야 했다. 그 사업을 주도해 나갈 조직이 바로 경학사였고, 장차 독립운동의 중추적 인물이 될 인력을 양성한 기관이 신흥강습소와 그를 이은 신흥학교·신흥무관학교였다. 신흥강습소나 그를 이은 신흥학교가 협동학교의 연장선상에 있었던 것으로 짐작되기도 한다. 1913년 3월부터 이름을 중국 ‘동삼성(東三省)’에서 따서 김동삼(金東三), 동생은 김동만(金東滿)으로 바꾸었다. 1914년에 백서농장(白西農庄)을 건립하고, 장주(庄主)가 되었다. 신흥학교 1~4회 졸업생들과 분교의 노동야학 졸업생 등 385명을 인솔하고, 퉁화현(通化縣) 팔리초(八里哨) 깊은 산속에 들어가 둔전형 군대를 창설한 것이다. 백두산 서쪽 깊은 산속에 자리 잡았다고 ‘백서’라는 이름을 붙였고, 군대 조직이라는 사실을 감추려고 ‘농장’이라고 위장했지만, 사실상 병영이었다. 망명 이후 독립군 기지를 건설하고 군대를 조직하는 데 힘을 쏟은 첫 결실이라고 할 수 있다. 1919년 3월 지린(吉林)에서 민족대표 39명 이름으로 「대한독립선언서(大韓獨立宣言書)」가 발표되었는데, 이상룡과 더불어 서명에 참여하였다. 이들 39명은 만주 지역에서 활동하던 인물을 비롯하여 국외로 망명한 독립운동의 지도자급 인물들이었다. 이 선언 발표 직후 상하이(上海)로 가서 4월 10일부터 이튿날까지 열린 회의에 참석한 29명 가운데 한 사람으로 대한민국 임시정부를 수립하는 데 참가하였다. 4월 11일 국가 이름을 ‘대한민국’이라 정하고, 독립을 이룰 때까지 이를 운영할 조직으로 임시정부(정부)와 임시의정원(의회)을 구성하였다. 연호(年號)도 ‘대한민국’이라 정하고, 한국 역사상 최초의 민주공화제를 선택한 「대한민국 임시헌장」을 제정하였으니, 이는 제헌헌법이요, 이날 회의는 곧 제헌의회였다. 국무총리를 비롯하여 각부 총장 인선까지 마친 다음 활동 본거지인 서간도로 되돌아갔다. 당시 서간도에는 세 개의 조직이 결성되어 독립운동 전선이 새롭게 정비되었다. 종래의 부민단(扶民團)이 한족회(韓族會)로, 백서농장 군영이 서로군정서(西路軍政署)로, 고산자에 있는 신흥중학교(新興中學校)가 신흥무관학교(新興武官學校)로 각각 개편하였다. 먼저 한족회는 부민단의 류허·퉁화·싱징현(興京顯) 대표들이 1919년 4월 삼원보에서 결성하였다. 한족회는 곧 백서농장을 서로군정서로 발전시키고 군정(軍政)과 민정(民政) 이원체제를 갖추었다. 이에 따라 백서농장을 해체하고 삼원보로 돌아와 한족회에서 서무사장(庶務司長)을 맡았다. 이어서 서로군정서 참모장에 취임하였고, 한족회 서무사장 자리는 같은 마을 출신이자 집안 조카인 김성로(金聲魯)에게 넘겨주었다. 또 학무사장은 김대락의 아들이자 집안 동생인 김형식(金� 植)이 맡았다. 자신은 백서농장 장주를 거치면서 독립운동진영의 지도적 인물로 자리 잡아 갔던 것이다. 서로군정서는 당초 군정부(軍政府) 조직으로 추진되었다. 그런데 상하이에서 대한민국 임시정부가 수립되는 것을 보고, 정부 외곽 조직으로 위상을 정리하여 서로군정서가 되었고, 이상룡이 최고책임자인 독판(督辦)을 맡았다. 한족회가 민정기관이라면, 서로군정서는 군정기관인 셈이다. 1920년 여름부터 일본군 침략이 간헐적으로 자행될 때, 서로군정서 참모장으로서 사령관 지청천(池靑天)과 함께 300여 명의 서로군정서 독립군을 북간도로 이동시켰다. 7월 29일에는 부대를 안투현(安圖縣) 삼인방(三仁坊)에 주둔시키는 한편, 8월에는 왕칭현(汪靑縣) 서대파(西大坡)의 북로군정서(北路軍政署)를 방문하여 작전을 논의하기도 했다. 그 후 서로군정서군이 청산리대첩을 치른 후 북상하여, 미산(密山)에서 북로군정서군을 비롯한 10여 개 독립군과 연합하여 대한독립군단(大韓獨立軍團)을 결성하고 러시아로 넘어갈 때, 서간도에 남아 독립전선을 재정비하였다. 서간도에서도 군사력을 기르고, 조직을 정비해야 하는 과제가 남아 있기 때문이었다. 청산리대첩에서 대승을 거두었지만, 일본군의 보복으로 서간도나 북간도 지역 한인 사회는 참변을 겪었다. 1920년 벌어진 경신참변(庚申慘變)은 김동삼 가족에게도 그대로 들이닥쳤다. 삼원보 삼광소학교(三光小學校) 교장으로 활약하던 동생 김동만이 일본군의 습격을 받아 살해되었다. 이에 앞서 청산리대첩 와중에 집안 조카인 김성로(金成魯) 가 전사하는 비극도 맞았다. 김동삼은 김형식과 논의하여 집안 일가들을 북만주 닝안현 주가둔(周家屯, 현재 닝안현 강남 조선족·만주족 공동 자치향)으로 옮기고, 고향에서 사촌 동생 김장식(金章植)을 불러들여 가족들을 이끌도록 하였다. 또 김정식·김창로·김성로에게 군자금 모집 임무를 주어 국내로 파견한 다음, 자신은 류허현과 싱징현(현 신빈현) 일대로 옮겨 활동하였다. 1922년 6월 한인 사회와 독립군 통합을 도모하기 위해 남만통일회(南滿統一會)를 주도하여 합의를 도출했으니, 그 결실이 통군부(統軍府)였다. 이후 8월 30일 전만한족통일회(全滿韓族統一會)가 결성되고, 이 무렵 통군부는 통의부(統義府)로 확대 개편되었다. 그는 통군부 교육부장을 거쳐 통의부 총장을 맡았다. 청산리대첩 이후 경신참변과 자유시참변을 거친 다음, 만주 지역 군사 세력을 통합하려 했던 노력이 지대했음을 알 수 있다. 1921년 이후 준비되어온 국민대표회의가 1923년 1월부터 5월 15일 사이 중국 상하이에서 열렸다. 독립운동사에서 가장 많은 대표가 모여, 오랜 기간, 민주적으로 진행된 독립운동자 대표 총회였다. 국내외 지역대표와 단체대표 400명 정도가 집결했는데, 의결권을 가진 대표가 130명을 넘을 만큼 규모가 컸다. 1921년 이후 침체 현상을 보이던 독립운동에 활력을 불어넣고 임시정부 쇄신 방안을 찾던 이 회의에 서로군정서와 남만주 대표로 참석하여 의장에 선출되었다. 의장에 선출된 사실은 독립운동계에서 차지한 위상을 확인해 주었다. 안창호(安昌浩)와 윤해(尹海)가 부의장이었다. 1923년 5월 말부터 국민대표회의는 크게 두 세력으로 나뉘었다. 대한민국 임시정부를 적절하게 개조하자는 개조파, 그리고 이를 해체하고 새로운 정부를 수립하자는 창조파로 나뉜 것이다. 김형식과 함께 개조파에 속했다. 별개의 정부 수립은 미루고, 일단 대한민국 임시정부를 독립운동 통할 체계에 맞게 개조해야 한다는 의견이었다. 두 주장이 맞선 상태에서 5월 15일 만주에서 대표를 소환함에 따라 의장에서 물러나 만주로 되돌아갔다. 6월에 들어 창조파가 가을에 새로운 정부를 수립한다는 목표로 블라디보스토크로 떠나버리는 바람에 국민대표회의는 결렬되고 말았다. 만주로 돌아온 1923년 가을, 만주 지역 독립운동 진영을 통합하는 작업이 급선무로 대두하였다. 북경군사통일회의나 국민대표회의가 뚜렷한 결실을 맺지 못하자, 이상룡과 양기탁(梁起鐸)이 다시 통합을 추진하고 있었다. 상하이에서 돌아오자마자 통합 작업에 매달렸다. 1924년 7월 10일과 10월 18일 10개 단체대표를 모아 전만통일회주비회全滿統一會議籌備會를 열었고, 의장에 선임되었으며, 11월 24일 정의부(正義府)를 탄생시켰다. 정의부는 참의부·신민부와 함께 만주 지역 3대 조직 가운데 하나였고, 류허현 삼원보에 본부를 두었다. 그리하여 1925년 만주 지역 한인 사회는 민정과 군정 기능을 갖춘 3부가 정립하고, 독립군 양성과 무장력 향상 등을 도모해 나갔다. 정의부에서 중앙행정위원 겸 외무위원장으로 활동하였다. 1925년 안동에서 함께 망명해 온 이상룡이 대한민국 임시정부 국무령에 선임되었고, 상하이로 부임한 이상룡이 그를 국무위원으로 임명했지만, 만주 항일투쟁 현장을 비울 수 없어 부임하지 않았다. 1927년 이후 국내외에 걸쳐 전개된 민족유일당운동(民族唯一黨運動)에 힘을 기울였다. 이는 독립군 단체 위에 하나의 지도 정당을 만들자는 것이고, 정부를 정당 중심으로 운영하자는 것이기도 했다. 그럴 경우 이념상 분화된 좌우 세력을 통합하는 운동이란 의미를 가졌다. 1926년 10월 안창호와 원세훈이 베이징에서 대독립당조직북경촉성회를 조직한 뒤에 상하이와 난징, 우한과 광저우로 확산되어 갔고, 국내에서는 신간회가 조직되는 분위기에서 만주 지역에서도 민족유일당운동이 진행되었다. 독립운동 진영의 통합과 통일을 추진해왔기 때문에 이에 앞장선 것은 당연한 일이었다. 1927년 4월 1일 정의부 간부 30여 명과 농민호조사(農民互助社)를 결성하여 농민들의 상호부조 속에서 독립운동의 근거지를 굳게 만드는 등 농민조합운동의 실마리를 열었던 것도 그러한 차원에서 펼쳐진 것이었다. 이어서 4월 15일 지린 남쪽 융지현(永吉縣) 신안툰(新安屯)에서 민족유일당촉성회의가 열리자, 정의부 중앙위원 자격으로 참석하였다. 이어서 1928년 5월 정의부를 대표하여 삼부통합회의를 개최하여, 분열된 독립운동 세력의 대통합을 모색했으나 실패하였다. 조직 결성 방법을 둘러싸고 이견이 표출되자, 새로운 통합 방법을 찾아 나섰다. 1928년 7월 삼부통일회의가 결렬되기 직전 정의부를 이탈하여 혁신의회를 조직하고 의장이 되었다. 1929년에는 좌우 합작을 도모하기 위해 민족유일당재만책진회를 조직하고, 중앙집행위원장에 뽑혔다. 그러나 1929년 4월 같은 지역에 국민부(國民府)가 출범함으로써, 민족유일당 계획은 무산되고, 1929년 5월 민족유일당재만책진회도 해체되었다. 이어서 1930년 7월 한국독립당(韓國獨立黨)이 조직되자 고문을 맡았다. 늘 통합운동의 핵심에 있었음을 알 수 있다. 1931년 일본군의 만주침공 직후 일제 경찰에 붙잡혔다. 같은 안동 출신이자 사돈인 이원일(李源一), 경북 영양군 출신 여성 독립운동가인 남자현(南慈賢)과 항일공작을 추진하려고 하얼빈에 잠입했다가 붙잡힌 것이다. 1932년 9월 국제연맹 조사단국제연맹 조사단이 만주를 방문하였을 때 남자현이 무명지를 잘라 독립을 호소하였고, 1933년 2월에는 만주국 주재 일본대사 무토武藤信義 처단을 시도한 사실이 이들의 투쟁 성향을 말해준다. 하얼빈 주재 일본영사관 경찰에 붙잡혀 모진 고문을 받으며 고생하다가 국내로 압송되었다. 평양지방법원에서 10년 형을 선고받고 평양감옥에서 고생하다가, 서울 경성감옥으로 옮겨졌다가 만 59세가 되던 1937년 4월 13일 감옥에서 사망하였다. 평소 그를 존경하던 만해(萬海) 한용운(韓龍雲)이 자신이 머물던 성북동 심우장(尋牛莊)에서 장례를 치렀다. “나라 없는 몸 무덤은 있어 무엇 하느냐. 내 죽거든 시신을 불살라 강물에 띄워라. 혼이라도 바다를 떠돌면서 왜적이 망하고 조국이 광복되는 날을 지켜보리라” 라던 유언대로 화장하여 유해를 한강에 뿌렸다. 대한민국 정부는 1962년 건국훈장 대통령장을 추서하였다.