1879년 7월 10일(음력) 경상북도 성주군(星州郡) 대가면(大家面) 칠봉동(七峯洞)에서 아버지 하강(下岡) 김호림(金頀林)과 어머니 인동장씨(仁同張氏) 사이에서 1남 4녀 중 외아들로 태어났다. 본관은 의성(義城)이며 자는 문좌(文佐), 호는 직강(直岡), 심산(心山), 별호(別號)는 벽옹(躄翁), 이명은 우(愚)이다. 직강은 13세 때 부친이 앞산 직준봉(直峻峰)을 가리키며 항상 직강불요(直岡不撓)하기를 가르치며 지어준 호이고, 심산은 그의 나이 40세 되던 해에 맹자의 사십부동심(四十不動心)이란 말에 깊이 느낀 바 있어 스스로 지은 것이다. 한편 ‘우(愚)’라는 별명으로 불리워지기를 자청하였는데 이는 국권을 강탈당한 피지배 민족으로서의 역사적 현실 앞에 자신을 자책한 것이다. 피체 후 일제의 모진 고문으로 인해 하체의 불구를 얻게 되어 ‘벽옹’이라는 별호를 사용하였다. 원래 영남의 문벌사족(門閥士族)인 의성김씨 중에서도 조선 중엽의 명현 동강(東岡) 김우옹(金宇顒)의 13대 종손으로 남다른 지위와 명망을 지니고 있었다. 타고난 재주가 남달랐으나 성품이 얽매이기를 싫어하여 13세에 사서(四書)를 읽었다. 1896년 부친상을 당한 후 이종기(李鍾杞), 곽종석(郭鍾錫), 이승희(李承熙), 장석영(張錫英) 등 대유(大儒)들의 문하를 두루 찾아가 경서(經書)에 대해 질의하였는데 특히 이승희를 각별히 따랐다. 1905년 을사늑약(乙巳勒約)이 체결되자 스승 이승희를 따라 상경(上京)하여 을사오적의 처단과 조약의 폐기를 주장하는 「청주적신파늑약소(請誅賊臣罰勒約疏)」를 올렸으나 받아들여지지 않았다. 1908년 대한협회 성주지부를 결성하여 총무를 맡아 구습타파와 신분과 계급의 철폐를 주장하면서 혁신적 사고로 국권회복을 꾀하게 되었으며, 이로 인해 수구유생들과 대립하였다. 1909년 일진회가 한일합병론을 주창할 때는 「일진회성토건의서(一進會聲討建議書)」를 중추원에 제출하고자 서명작업을 주도하였으며, 이 일로 성주 헌병분견소에 8개월간 구금되기도 하였다. 그리고 국채보상운동으로 모금된 단연금(斷煙金)을 기반으로 청천서원(晴川書院)에 사립 성명학교(星明學校)를 세워 보수유림과의 대립에도 불구하고 근대적 교육체계로 무장한 인재를 길러 내겠다는 의지를 피력하였다. 이러한 고투에도 1910년 8월 나라가 망하자 “나라가 망했는데, 선비로서 이 세상에 산다는 것은 큰 치욕이다”라고 외치면서 매일 술에 취해 통곡했다. 이후 타락하고 방종한 생활을 자초하니 주위에서는 그를 미치광이로 취급하였다. 1913년 방탕한 생활 끝에 모친의 엄중한 꾸짖음을 받고 스스로 지난날의 잘못을 뉘우치고 반성하게 되었다. 이후 집에 있는 경서와 각종 서적을 섭렵하고 독서에 빠져 1919년 3·1운동 직전까지 학문에 열중하였다. 국권 피탈은 깊은 좌절에 빠지게 하였으나, 유교적 인생관과 근대문명론의 간극에서 학문 정진을 위안으로 삼고 있던 그에게 3·1운동은 새로운 시간을 여는 계기가 되었다. 일제가 친일유림을 동원하여 조작한 ‘독립불원서사건(獨立不願書事件)’과 3·1독립선언서에 유림대표가 빠졌다는 사실에 크게 실망하였다. 그리하여 파리강화회의에 독립을 청원하는 ‘파리장서(巴里長書)’ 작성과 전달과정에서 주도적인 역할을 수행하였다. 3·1운동에서 이미 기독교, 불교, 천도교가 중심인 33인 이름으로 독립선언문을 발표하여 민심을 고동시켜 국내적으로 민족독립운동의 큰 전기를 마련하였으니, 국제사회에 한민족의 독립을 호소하고 독립의 국제적 환경을 동시에 조성하는 데에 유교계가 단결하여 선두에 서기를 주장하였다. 그리고 구체적인 방안으로서 1919년 5월 파리에서 개최되는 강화회의에의 대표 파견을 제안하였다. 이러한 의도에서 구체적인 논의와 운영계획을 세워 실천에 옮긴 것이 ‘파리장서운동’이다. 곽종석(郭鍾錫)이 보낸 김황(金榥)과 곽윤(郭奫)에게 전말을 얘기하고, 이를 통해 곽종석에게 청원서 준비를 청하였다. 이중업(李中業), 김정호(金丁鎬), 유준근(柳濬根), 유진태(兪鎭泰) 등을 각 지방 책임자로 정하고, 서명과 자금 모금 활동을 주도케 하였다. 자기의 영향력이 미칠 수 있는 영남에서 곽종석을 중심으로 서명운동과 자금 모집을 전개하며 영남유림을 결속해갔다. 이후 모친에게 이별을 고하고, 곽종석을 방문하였다. 그로부터 파리장서의 문안 작성을 요청받은 곽종석은 장석영에게 문안의 초안을 작성토록 하였으며, 이후 곽종석과 그는 장석영의 문안을 수정하여 외교문서로서 뜻을 명확하게 다듬었다. 곽종석은 그에게 파리강화회의에 대표로 떠날 것을 부탁받고, 중국 왕래 경험이 있는 이현덕(李鉉德)을 추천받고 베이징(北京)과 상하이(上海)를 경유하여 파리에 들어갈 것을 조언하였다. 이는 그로 하여금 이승만(李承晩) · 이상룡(李相龍) · 안창호(安昌浩) 등과 의논토록 하기 위함이었다. 또한 당시 중국 국민당 중의원(衆議院) 의원인 리원츠(李文治)를 소개하며, 그가 중국에서 활동할 경우 이원츠의 도움을 받도록 하였다. 유림의 단합된 명의로 국제무대에 나서려 했던 그는 일반 보수적 유생들의 지역 · 학통 · 색론 · 사고의 차이 때문에 영남인사 백 수십 명만의 서명을 받아 상경하였다. 이 때 유진태(劉鎭泰)와 이득년(李得年)이 기호 유림의 영수 김복한(金福漢)이 충청도 유림 17인을 규합하여 파리강화회의에 보낼 문서 전달을 위해 임경호(林敬鎬)의 파리 파견을 통보해왔다. 그는 임경호와 회동하여 그의 동의 아래, 곽종석이 작성한 문안의 채택과 그 자신의 파리행에 합의하였다. 이리하여 영남과 충청 유림의 연합으로 곽종석, 김복한 등 137명이 서명한 파리장서가 만들어지게 되었다. 1919년 3월 22일 극비리에 출국하여 펑텐(奉天) · 텐진(天津)을 거쳐, 3월 27일 상하이에 도착하였다. 상하이에서 이동녕(李東寧) · 이시영(李始榮) · 조성환(曺成煥) · 이동휘(李東輝) 등과 상봉하여, 이미 1주일 전 김규식(金奎植)이 민족대표 자격으로 파리로 출발한 사실을 알게 되었다. 그 사이 경북으로부터 김응섭(金應燮)이 국권회복단의 대표 자격으로 동일한 내용의 장서를 갖고 상하이에 도착하였다. 파리행이 제대로 진척되지 않아 신채호(申采浩) · 이동녕 등과 의논하였다. 이동녕이 그의 파리행을 만류하자 이 의견에 동의하여, 파리행을 중지하고 장서를 김규식에게 우송하여 강화회의에 제출하도록 하는 한편, 중국에서 한학자로서의 장점을 살려 활동키로 하였다. 이리하여 장서 원문은 급히 윤현진(尹顯振)으로 하여금 영어로 번역하게 하고, 아울러 국 · 한문으로도 번역하여 한문본 및 영문본을 각 3,000부 정도 인쇄한 다음, 파리강화회의 회장과 각국 대표는 물론 중국을 비롯한 여러 외국의 중요 기구 및 언론계 그리고 국내의 향교에 우송하였다. 파리장서의 내용에는 전통적인 신분과 계급질서를 타파하고 만국공법과 외교론을 수용하고 있었던 인식이 반영된 것이다. 그가 중국으로 망명한 후 일제 경찰에게 발각되어 곽종석을 비롯한 관련자가 체포되었는데 이것이 파리장서사건(제1차유림단사건)이다. 1919년 4월 상하이에 대한민국 임시정부가 수립되자 임시의정원의 경상북도 출신 의원으로 선출되었다. 이후 중국 국민혁명의 지도자 쑨원(孫文) 등과 회합하여 한중 양 민족의 협력과 공동투쟁 방안을 논의하였다. 그 결과로 중한호조회(中韓互助會)와 한국독립후원회(韓國獨立後援會) 등의 결성을 이루어냈다. 1920년 박은식(朴殷植)과 함께 『사민일보(四民日報)』를 운영하였으며, 신채호 · 박숭병(朴嵩秉) 등과 함께 독립운동 잡지 『천고(天鼓)』의 간행에 참여하였다. 또한 학문적 교양과 유림이라는 배경 아래, 대중국 독립운동 선전과 외교활동을 활발히 전개하였다. 1923년 1월 베이징에서 민족의 단합을 위하고 대한민국임시정부의 새로운 방향을 모색하기 위해 국민대표회의가 개최되었다. 이때 참석자들이 창조파와 개조파로 양분되어 창조파의 대의원으로 추대되었지만 민족운동의 분열을 우려하여 참가하지 않았다. 1925년 이승만 임시대통령의 위임통치안이 문제되자 박은식 · 신채호 등과 이를 성토하고 탄핵하여 이승만을 대통령직에서 물러나게 하였다. 1925년 봄, 이회영(李會榮)과 독립운동 기지건설을 논의하여 중국 경제계 지인 등을 이용하여 해법을 모색할 것을 제안하였다. 참의원 의원인 리멍겅(李夢庚)에게 중한(中韓) 호조(互助)의 필요성을 역설하고 황무지 개간 문제를 의논하였다. 리멍겅은 러허(熱河)와 차하르(察哈爾)지역의 지도자인 펑위샹(馮玉祥)과 의논해 볼 것을 건의하였다. 그리고 쑨원 광둥정부의 전 외교총장인 쉬지엔(徐謙)이 펑위샹과 교분이 두터움을 가르쳐주며, 쉬지엔을 만나 해결할 것을 제안하였다. 쉬지엔은 쾌히 이를 응락하고 펑위샹으로부터 황무지 개간권을 허락받았다. 그러나 러허와 차하르에는 적당한 땅이 없어 수이위안(綏遠) 바오터우(包頭) 등지의 3만 정보의 개간지로 결정되었다. 그러나 땅의 개간과 한인 이주경비 20만원을 마련할 방법이 없었다. 그 자신이 자금 마련을 위해 직접 생사를 걸고 국내에 잠입하는 수밖에 없었다. 때마침 국내 유림들이 곽종석 문집의 간행을 위해 서울에 모여 있다는 소문이 있어, 국내 잠입계획을 세웠으나 함께 행동할 동조자를 구하기가 어려웠다. 당시 베이징에서 유학 중이던 송영우(宋永祐) · 이봉로(李鳳魯) · 김화식(金華植) 등의 동참 의사를 받았고 구체적인 계획을 추진하였다. 1925년 6월 하순 송영우(宋永祐)를 국내에 파견하고, 이봉로를 상하이에 보내 권총을 구입, 김화식에게 주어 국내에 파견하였다. 이봉로는 베이징에서 정보연락을 담당하게 하고, 그는 1925년 8월 서울에 잠입하였다. 이러한 사실은 철저히 비밀에 부쳐졌다. 베이징에서 수학하고 있는 장남 환기(煥基)에게조차 밝히지 않았고, 신채호만이 이 사실을 알았다. 1925년 8월 초 베이징을 출발하여 하얼빈을 거쳐 만주 일대의 한인 실정을 파악하고, 안동현과 신의주를 거쳐 서울로 입성하였다. 그리하여 송영우 · 김화식과 조우한 그는 송영우 · 김화식을 곽종석집간소(郭鍾錫集刊所)로 보내 곽윤 · 김황을 청하여 입국의 뜻을 알리는 한편, 김황을 경남으로, 곽윤을 경북으로 보내 친지 재산가들에게 그의 뜻을 알리도록 하였다. 그리고 김화식을 경주에 보내어 정수기를 오게 하여 그를 봉화 등지에 파견하였고, 하장환(河章煥)은 진주 · 함안 등지로 출발시켰다. 이 때 진주의 한 부호가 하장환을 통해 귀순 의사를 물어오자 그는 “친일 부자의 머리를 독립문에 걸지 아니하면 우리 한국이 독립할 날이 없을 것이다”라는 말로 그의 뜻을 대신하였다. 군자금 모집 활동은 이전 파리장서에 참여하였던 유림의 협조를 기대하였다. 독립운동기지 소요 자금을 마련하기 위해 국내로 잠입하여 1925년 8월부터 1926년 3월까지 약 8개월에 걸쳐 유림과 부호를 대상으로 군자금 모집활동을 전개하였다. 하지만 기대한 성과를 거두지 못하고 다시 상하이로 돌아가야 했다. 이 때 독립운동은 한 차례 전환의 계기를 맞이하였다. 독립운동기지 건설 계획이 수포로 돌아가자, 일제 식민기관의 파괴라는 의열투쟁으로 방향을 전환시킨 것이었다. 그는 국내에서 모금한 자금의 일부를 유자명(柳子明)에게 주어 폭탄과 권총 등 무기를 구입하게 하여 전달받았다. 그 뒤 텐진으로 가서 의열단원인 나석주 · 이승춘(李承春)을 만나 김구의 편지와 무기, 자금을 전해주면서 국내에 잠입하여 일제 통치기관을 습득토록 하였다. 이후 나석주는 중국인으로 가장하여 산둥반도(山東半島)의 웨이하이웨이(威海衛)에서 배를 타고 1926년 12월 26일 인천에 도착하였고 이튿날 서울에 잠입하는 데 성공하였다. 나석주는 1926년 12월 28일 조선식산은행과 동양척식주식회사에 폭탄을 투척하고 권총을 발사하여 일본인 3명을 사살하고 4명을 부상시키는 큰 성과를 거두었다. 그러나 나석주 자신은 일경에 포위되어 권총으로 자결하였다. 이러한 나석주의거(羅錫疇義擧)가 바로 그의 자금지원으로 이루어진 의열투쟁이었다. 의열투쟁은 일제 밀정 김달하(金達河)의 처단과 나석주의거로 대표되는데, 이 단계에 이르러 그의 민족운동 방향은 폭력 · 파괴 · 살해 등 적극적 투쟁을 통해 민중직접혁명을 목표로 하는 의열단활동과 연결될 만큼 뚜렷해져 갔다. 일제 경찰에 의해 군자금 모금활동이 발각되어 참여 인사가 체포되는 제2차유림단사건(군자금모집)이 발생하였다. 이 시기에 상하이에서 이동녕 · 김구 등과 함께 지내며 독립운동 단체의 통합운동을 추진하였고, 1926년 12월 27일 임시의정원을 개편하여 이동녕이 의장이 되고 김창숙은 부의장에 선임되었다. 이 시기에 임시의정원에서 비밀리에 진행되는 일이 상하이 일본 신문에 전모가 게재되는 일이 있었다. 내막은 여운형(呂運亨)이 일본 밀정을 역이용하여 정보를 알아내고자 꾸민 일이 있었다. 임시의정원 내에서 여운형을 성토하는 목소리가 높았다. 심지어 젊은층에서는 여운형을 암살하고자 하였다 이때 여운형이 밀정이 아님을 강력하게 변호했으나 이후 여운형과는 함께 일하지 않았다. 1927년 2월 국내로 밀파했던 장남 환기가 경찰에 체포되어 고문을 받은 끝에 사망하는 불행한 일이 있었다. 이때 장남의 나이는 20세에 불과하였다. 이 소식을 듣고 병이 악화되어 상하이 공동조계에 있던 영국인 의원인 공제병원(公濟病院)에 입원하였다가 그곳에서 1927년 6월 10일 일제 영사관 경찰에 체포되어 일본 나가사키(長崎)를 거쳐 국내로 압송되었다. 부산을 거쳐 대구경찰서와 형무소에 감금되어 혹독한 고문을 당하였다. 그는 재판정에서 “나는 대한 사람으로 일본 법률을 부인하는 사람이다”라고 하면서 재판 자체를 거부하였다. 1928년 11월 28일 대구지방법원 재판에서 나석주의 조선식산은행과 동양척식주식회사 폭탄투척사건의 주모자로서 폭발물취체벌칙 · 살인 · 다이쇼(大正)8년 제령 제7호 위반 등으로 징역 14년형(미결구류일수 200일 본형산입)을 받았다. 검사는 무기징역을 구형하였으나 판사가 14년형을 선고하였다. 이때 주의의 친지들이 공소할 것을 권유하였으나 이를 거부하였다. 곧 대전형무소로 이감되었다. 예심과정에서 받은 일제의 악랄한 고문으로 앉은뱅이가 되었으며 이후 벽옹(躄翁)이란 별호를 사용하였다. 1929년에는 생명이 위독하여 형집행정지로 출옥하였다가 재수감되는 수모를 겪었다. 그는 옥중에서도 ‘포로’로 자임하며 치열한 옥중투쟁을 계속하여 끝까지 일제에게 굴복하지 않는 의연한 모습과 기개를 보였다. 이후 다시 병이 위중하여 1934년 9월 형집행정지로 출옥하였다. 1939년 회갑을 맞았으나 주위의 권유를 물리치고 가족들에게 주연을 베풀지 못하도록 하였다. 1940년 5월에는 중국 망명시기인 1920년 정월에 별세한 모친의 묘소에서 시묘살이를 하면서 유학의 도로써 효의 본분을 다하였다. 1940년에는 일제가 성명을 일본식으로 창씨하라는 ‘창씨개명(創氏改名)’ 정책을 실시하자 당시 유림의 지도자들이 앞장서 이를 따랐지만, “강권이 비록 겁나지만 나는 늙고 병들어 죽을 날이 얼마 남지 않았다. 비록 죽더라도 절대 응하지 않을 것이다.”라며 완강히 거절하였다. 일제는 더 이상 강요하지 못하고 창씨개명을 거절한 그에게 여러 가지 불리한 대우를 가하였다. 1943년 겨울 차남 찬기(燦基)를 중국 충칭(重慶)으로 파견하였다. 이는 일제의 감시를 받던 찬기를 망명시키는 한편 임시정부의 상황을 알아보고자 한 것이었다. 차남 찬기는 부친의 영향으로 혁명사상에 고취되어 항일운동을 펼치다 일제에 의해 몇 차례 투옥되었고 항상 일제의 감시가 뒤따르던 상황이었다. 고향에서 요양중이던 1944년에는 다시 독립운동조직인 건국동맹(建國同盟)의 남한책임자로 추대되었다. 해방직전인 1945년 8월 7일 건국동맹 가담 혐의로 일경에 검거되었다가 해방을 맞이하여 왜관(倭館) 경찰서에서 풀려났다. 해방 후 1945년에 이미 67세의 고령이었지만 해방 정국의 격동 속에서 비교적 활발한 정치활동을 하였다. 해방 이후 정치활동은 한마디로 반탁투쟁(反託鬪爭)과 임시정부 봉대 활동, 반분단 · 반독재투쟁의 과정이었다. 일제강점기에 임시정부를 중심으로 독립운동을 전개했고 해방 후에도 임시정부를 중심으로 건국을 해야 한다고 생각했다. 해방 후 정당 난립과 공산당 파벌투쟁이 벌어지고 있는 상황에서 영남과 호남의 지인들이 민중당(民衆黨) 당수 취임을 재촉했지만 단호히 거절했다. 1945년 말부터 전개된 당시의 반탁투쟁은 우익의 정부 수립 방안이었던 임시정부 추대운동과 밀접히 관련되어 있었다. 당시 반탁투쟁은 임정 추대운동이었고, 동시에 반소반공투쟁으로서의 성격을 가지고 있었다. 이러한 정황 속에서 1946년 1월 2일 「반탁담화문」을 발표하였다. 미소의 신탁통치를 일제의 식민통치와 같이 이민족에 의한 민족자주권의 박탈로 인식하고, 쓸데없는 파벌적 투쟁을 청산하고 임시정부를 중심으로 ‘한 뭉치’가 되어 ‘의혈(義血)’로써 싸우기를 호소하였다. 이렇게 신탁통치에 대한 절대 반대의 입장에서 당시 모스크바3상회의 결정의 ‘총체적 지지’를 내걸고 탁치를 감수해야 한다는 입장을 보이고 있던 공산당세력을 ‘매국’과 ‘반역행위’라고 질타하면서 가차 없이 비판하였다. 이러한 철저한 반탁운동을 통하여 임시정부의 국무위원이 되어 임시정부 봉대 운동에 매진하였다. 이 결과 1946년 2월 임시정부의 법통을 계승하여 의회로서 기능할 것을 자임한 비상국민회의가 미군정의 자문기관인 ‘민주의원’으로 하룻밤 사이에 바뀌자 이것을 주도한 이승만에 대해 격렬하게 공격하기도 하였다. 그러나 결국 김구 중심의 임정봉대운동이 실패로 끝나고 정국은 분단정부가 수립되는 방향으로 나아갔다. 이에 김구 및 김규식과 함께 분단정부의 수립을 막기 위하여 최후까지 노력하였지만 실패로 돌아갔다. 1949년 김구의 암살로 한 때 절망하기도 했지만, 1950년대 들어 이승만의 권위주의적인 독재정치가 강화되고 장기집권 음모가 노골화되자 다시 노구를 이끌고 반독재투쟁(反獨裁鬪爭)의 전선에 나섰다. 세 번씩이나 이승만의 하야를 요구하며 이승만정권에 맞섰다. 1951년 ‘이승만대통령하야경고문’ 사건으로 부산형무소에 투옥되었고, 1952년에는 부산 국제구락부에서 ‘반독재호헌구국선언대회’를 주도하여 40일간 재차 투옥되었다. 1946년 친일유림의 척결과 유학을 통한 새로운 건국사업에 이바지하기 위해 유도회를 결성하였으며, 유학의 근대적 발전과 육영사업을 목적으로 성균관과 성균관대학의 건립에도 중추적인 역할을 수행하였다. 1946년 5월 성균관대학을 설립하여 초대 학장을 맡았으며 1953년 종합대학으로 승격시켜 초대 총장이 되었다. 잇따라 이승만 대통령에 대한 하야 권고 성명을 발표한 뒤 성균관과 유도회는 정치적인 소용돌이에 말려들어 점차 분규에 휩싸이게 되었다. 1955년부터는 유도회와 성균관에 정치세력이 개입하여 전국 유림은 갈피를 잡지 못했으며 수년에 걸쳐 유림의 고질적인 분열상이 드러났다. 계속해서 이승만 대통령의 부정과 독재에 항거하다가 1957년에는 유도회, 성균관, 대학총장 등 일체의 공직에서 추방당하였다. 집 한 칸도 없이 여관을 전전하다가 1962년 5월 10일 서울 중앙의료원에서 서거하였다. 장례식은 사회장으로 치러져 성북구 수유리 선열묘지에 안장되었다. 저술로는 『심산유고(心山遺稿)』가 있으며, 특히 독립운동 관련사실을 기록한 「벽옹73년회상기(躄翁七十三年回想記)」가 실려 있다. 대한민국 정부는 1962년 건국훈장 대한민국장을 추서하였다.