1919년 중국 길림성(吉林省) 왕청현(汪淸縣) 나자구(羅子溝)에서 한족독립운동(韓族獨立運動) 중앙기관으로 설립된 의사부(議事部) 평의원(評議員)과 북로군정서(北路軍政署) 의용군(義勇軍)에 참여하여 러시아에서 무기를 반입하는 등의 활동을 하였다.

북로군정서는 3ㆍ1운동 이후 왕청현에서 서일(徐一)ㆍ김혁(金爀)ㆍ김좌진(金佐鎭) 등이 조직한 무장독립운동 단체로, 대한민국임시정부(大韓民國臨時政府)와 연결하여 군사를 양성하였고, 청산리전투(靑山里戰鬪)에서 큰 전과를 올렸다. 부대의 편제는 1개 소대를 50명으로 하고, 2개 소대를 1개 중대로 하였으며, 2개 중대를 1대대로 편성하였다. 병력규모는 초기에는 500여 명이었던 것이 1920년 8월에는 1,600명이 넘었다.

김여운은 1919년 음력 11월 하순 황병길(黃炳吉)의 부하인 노국(露國) 귀화(歸化) 한인(韓人) 그리고루 박(朴)이 각 총기 1정(挺)에 약 천발의 탄약을 구입하였는데, 이중 7정을 보관하는 등의 활동을 하였다.

정부는 고인의 공훈을 기려 2014년에 건국포장을 추서하였다.

• 朝鮮人槪況 送付의 件(1919. 3. 27) 不逞團關係雜件-朝鮮人의 部-在歐米(七雜)
• 獨立運動에 關한 件(1919. 5. 5) 不逞團關係雜件-朝鮮人의 部-在滿洲(10)
• 朝鮮騷擾사건에 관한 정보 제4호(1919. 5. 5) 朝鮮騷擾事件關係書類(1)
• 독립운동에 관한 건(1919. 5. 5) 朝鮮騷擾事件關係書類(7)
• 不逞鮮人名簿 송부의 건(1921. 7. 13) 不逞團關係雜件-朝鮮人의 部-在滿洲(28)
• 독립운동사자료집(독립운동사편찬위원회, 1976) 제6집 1, 100면