여준현은 1920년 음력 1월부터 안종운(安鍾雲), 장응규(張應圭), 이민식(李敏軾) 등과 함께 서울 연지동(蓮池洞)의 자택에서 여러 차례 회합하고 독립운동 자금을 모집하여 상해(上海) 대한민국 임시정부(大韓民國臨時政府)의 독립운동을 후원할 수 있는 조직체를 결성하기로 협의하였다. 독립운동 자금을 모집하기 위해서 임시정부 발행의 신뢰할만한 서류 또는 증서(證書)가 필요했으므로 임시정부의 요인이며 친족인 여운형(呂運亨)에게 보내는 소개장(紹介狀)을 작성하여 장응규를 상해로 파견하였다. 이후 5월초 장응규는 임시정부로부터 서울에서도 주비단(籌備團)을 조직하여 임시정부와 연락하며 독립을 위해 운동자금 모집에 진력해 달라는 의뢰서를 받고 서울로 돌아왔다.

여준현은 1920년 6월 서울 연지동 경신학교(儆新學校)에서 이민식, 안종운, 심영택(沈永澤), 이규승(李奎承), 장응규 등과 함께 주비단을 조직하고 주비단의 재무장(財務長)으로 선출되었으며, 9월에 주비단의 주요 간부들과 회합하여 소진형(蘇鎭亨)을 단장(團長)으로, 신석환(申奭煥)을 참모장(參謀長)으로 선출하는 등 새롭게 조직을 보강하였다.

이후 이민식, 신석환, 이규승 등과 임시정부 발행의 공채증권(公債證券)인 액면가 100원권 30매, 500원권 6매, 1,000원권 4매 합계 10,000원의 증권을 장응규로부터 받아서 독립운동을 위한 자금모집을 결행하기로 협의하고 그중 5,000원의 공채증권을 안종운에게 교부하였다.

이처럼 여준현은 1920년 9월 이후 대한민국 임시정부 발행의 공채증권을 교부하는 등 독립운동 자금모집을 위해 활동하다가 일본 경찰에 체포되어 1922년 4월 13일 경성지방법원에서 소위 대정 8년 제령 제7호 위반으로 징역 2년을 받았다.

정부는 고인의 공훈을 기려 2011년에 건국훈장 애족장을 추서하였다.

• 東亞日報(1922. 3. 18)
• 判決文(京城地方法院：1922. 4. 13)
• 判決文(京城地方法院：1921. 12. 22)
• 독립운동사자료집(독립운동사편찬위원회) 제10집 1104-1119면