대한민국임시정부가 연통제를 실시함에 따라 1921년 2월경 평북독판부의 경호원에 임명되어 활동하였다.

이후 재만 독립군으로 활동하다가 1924년 8월에는 관전현(寬甸縣)에서 독립단(獨立團)에 가입하여 일제의 기관을 습격하거나 방화하는 활동을 전개하였다. 1925년 5월에는 정의부(正義府) 국내 파견대장 이진무(李振武)와 함께 평북 철산군으로 진입하여 차련관(車輦館) 경찰주재소를 습격하는 한편, 친일파들을 처단하고 군자금 모금 등의 활동을 벌였다.

정의부는 1924년 11월 대한통의부를 비롯한 광정단(光正團)·의성단(義成團)·서로군정서(西路軍政署) 등 8개 독립운동단체가 통합해 성립된 통합군정부였다. 이 단체는 유하현(柳河縣)·관전현(寬甸縣)·통화현(通化縣) 등 통합에 가담했던 8개 단체가 관할했던 남만주지역 이주 한인사회를 대상으로 자치활동을 벌이며 산하에 의용군을 조직해 항일무장투쟁을 수행하였다. 1926년 김태묵은 정의부 의용군의 제4중대 3소대장이 되었다. 그리하여 같은 해 4월 부하 13명을 이끌고 압록강을 넘어 국내진입전을 시도하였다.

1927년 음력 4월에는 이진무 등과 다시 유격대를 편성하여 의주군으로 진입하여 식산은행 지점과 금융조합 등을 공격하여 군자금 982원을 모금하였다. 같은 해 7월 21일에는 정주군으로 이동하여 군자금 410원을 모금하고 군민들에게 애국의 기운을 고조시키는 연설을 하였다. 1930년 7월 17일에는 남만주의 통합군정부로 발족한 국민부(國民府)의 간부가 되어 삭주군의 신연금광을 공격해 2,300원의 군자금을 모금하였다.

이같이 활발한 항일활동을 벌이던 김태묵은 1932년 2월 일제의 안동영사관 경찰대에 붙잡히고 말았다. 국내로 압송된 김태묵은 1933년 6월 26일 신의주지방법원에서 소위 치안유지법 위반 및 살인강도·방화 등으로 징역 12년을 선고 받고 평양형무소에서 약 8년 6개월의 옥고를 치르다가 1940년 8월 4일 가출옥되었다.

정부는 고인의 공훈을 기려 2009년에 건국훈장 애국장을 추서하였다.

• 身分帳指紋原紙(警察廳)
• 東亞日報(1932. 2. 25)
• 朝鮮日報(1933. 1. 22, 6. 28)
• 東亞日報(1933. 6. 27)
• 독립운동사자료집(독립운동사편찬위원회) 제10집 606면
• 독립운동사자료(국가보훈처) 중국편 제10권 284면
• 1921年 中 管內 不逞鮮人의 狀況(1922. 2. 24) 不逞團關係雜件 - 朝鮮人의 部 - 在滿洲의 部(32)
• 독립운동사(독립운동사편찬위원회) 제2권 474면