김태엽은 1915년 14세 때에 일본으로 건너가 공장을 전전하다가 오오사카[大阪]를 중심으로 조선무산자사회연맹(朝鮮無産者社會聯盟) 등에 참여하여 조선인 노동자의 권익향상과 항일투쟁을 전개하였다.

1920년 3월 동경(東京)에서 자유노동자로 일하면서 일본대학(日本大學) 사회학과에 입학하였다. 1922년 11월 동경조선노동동맹회(東京朝鮮勞動同盟會)의 창립에 참여하여 일본인과 조선인 사회주의자, 무정부주의자들과 함께 노동운동을 전개하였다. 1923년 9월 관동대진재(關東大震災) 때에 검속되어 고문을 당했다. 동년 12월 관동대진재에서의 조선인 학대를 폭로하고 규탄하는 임무를 띠고 오오사카로 갔다. 1924년 3월 나카노시마[中之島] 공회당에서 ‘조선인학살사건규탄대회’를 개최하고 사회를 맡아 대회 종료 후 검거되어 1개월 후 석방되었다. 동년 6월 최선명(崔善鳴)·고순흠(高順欽) 등과 함께 조선무산자사회연맹을 조직하고 동월 28일 천왕사 공회당에서 개최된 동 단체 주최의 연설회에서 조선인 노동자문제와 관동대진재 당시 조선인 학살 사건에 대해 연설하다가 또다시 체포되었다.

1925년 3월 김수현(金守顯) 등과 조선노동학교를 창설하여 소년교육에도 힘 썼다. 1926년 1월 친일파 이선홍(李善洪)이 주도한 선우회(善友會)의 창립대회에 찾아가 반대연설을 하고 청중들과 함께 무산시켰다. 동월 16일 이춘식(李春植)과 함께 민족을 위한 참된 이익을 목적으로 하는 신진회(新進會)를 조직하고 ‘자아성(自我聲)’을 발간하였다. 이 일로 인해 관계자들이 검거되었고 김태엽의 집도 가택 수색을 당하였다.

1926년 12월 많은 조선인 자유노동자가 공사에 종사했던 북릉(北陵)으로 가서 부산(富山)을 본거지로 노동운동을 하였고, 1927년 8월에 백의노동신우회(白衣勞動信友會)를 결성하여 각종 노동쟁의에 관여하였다. 이러한 활동을 전개하던 김태엽은 1931년 또다시 체포되어 1935년 9월 출옥과 동시에 국내로 추방되었다.

정부는 고인의 공훈을 기려 2009년에 건국훈장 애족장을 추서하였다.

• 朝鮮日報(1924. 7. 9·30)
• 東亞日報(1924. 7. 30, 1926. 5. 28)
• 時代日報(1926. 1. 18)
• 在日本朝鮮人關係資料集成 제1권 210, 214, 332면
• 투쟁과 증언(김태엽, 1981) 134~136, 275면
• 한국아나키스트들의 독립운동(김명섭, 2008) 31~32, 201~205, 349~350면
• 近代日本社會運動史人物大事典(1997) 제2권 364~365면
• 독립운동사사료집(독립운동사편찬위원회) 별집 제3집 79, 164~170, 771면
• 한국노동운동사(강만길, 2004) 제2권 23, 123, 125면