경기도 고양 출신으로 의열단원 김익상(金益相)의 동생이다. 김익상은 1921년 9월 11일 고양군(高陽郡) 한지면(漢芝面) 이태원리(梨泰院里)에 있는 동생 김준상의 집으로 와서 조선총독부 의거 계획을 이야기했다. 다음날 아침 조선총독부에 폭탄을 던진 김익상은 다시 김준상의 집으로 돌아와 숨었다가 평양으로 피신했다.

김익상은 1922년 3월 28일 상해 황포탄(黃浦灘)의 세관 부두에서, 일본 육군대장 다나카 기이치(田中義一)에게 폭탄을 던졌으나 실패했다. 이때 김준상과 김익상의 아내도 경기도 경찰부에 연행되어 취조받았다. 상해에서 예심을 받은 김익상은 1922년 5월 6일 일본 나가사키(長崎)로 이송되어 공판을 받은 후 사형이 선고되었다. 같은 해 11월 18일 김준상은 나가사키형무소를 찾아가 형 김익상을 약 30분간 면회했다.

1923년 1월 일본 도쿄(東京)에서 제국의회(帝國議會)가 개최될 때, 한국 독립단이 의회에 가는 사이토 마코토(齋藤實) 조선총독을 암살하려 한다는 소문이 있었다. 이로 인한 일본 경찰의 경계 속에서 김준상은 1월 16일 시모노세키역에서 조선총독 암살 혐의자로 체포되었다.

정부에서는 2022년에 건국포장을 추서하였다.

• 일제감시대상인물카드(국사편찬위원회)
• 동아일보(東亞日報)(1922. 4. 6, 4. 21, 5. 20, 6. 5, 6. 13, 1923. 1. 18)
• 매일신보(每日申報)(1922. 5. 20, 11. 23)
• 조선일보(朝鮮日報)(1925. 6. 9)
• 시대일보(時代日報)(1925. 6. 10)
• 경성일보(京城日報)(1925. 6. 20)
• 독립운동사자료집(독립운동사편찬위원회, 1976) 제14집 939면