1827년 6월 2일 경기도 가평군(加平郡) 가평면(加平面)에서 아버지 조유순(趙有淳)과 어머니 대구서씨(大邱徐氏)의 아들로 태어났다. 본관은 양주(楊州)이다. 자는 치현(稚顯·穉顯)이고, 호는 산재(山齋)이다. 5대조 조관빈(趙觀彬)은 노론 명문가로서 판중추부사와 홍문관 대제학을 지냈고, 큰아버지 조두순(趙斗淳)은 영의정을 지냈다. 1853년 음직으로 참봉을 거쳐, 1859년 증광문과 병과로 과거에 급제하였다. 사관을 거쳐, 고종 즉위 후에는 사헌부·사간원 등에서 재직되었다. 1864년 실록청 도청 낭청으로 󰡔철종실록󰡕 편찬에 참여하였고, 1866년 승정원 우부승지·1868년 이천부사·1870년 영광군수 등을 역임하였다. 1874년 이후 함경도 암행어사·좌부승지·이조참의·공조참판 등을 지냈으며, 1878년 연행사절단의 부사로 중국 베이징(北京)에 다녀왔다. 1881년 의주부윤으로 조청상민수륙무역장정(朝淸商民水陸貿易章程) 시행 업무를 맡았다. 1883년 이조참판, 1884년 좌승지·별운검·동지경연사, 1885년 이후 대사헌·예조참판 등에 임명되었다. 1887~88년 동지정사로 다시 베이징에 다녀왔고, 1889년 이후에는 이조판서와 우의정을, 1890년 2월 좌의정에 올랐다. 이 시기에 척신들의 폐단으로 유능한 인재 등용이 곤란했음을 지적하며 인재 선발 과정의 공정성 확보에 힘썼다. 1894년 동학농민전쟁(東學農民戰爭)이 일어났을 때 어전회의에서 “청국의 병력을 끌어들여 운동세력을 제압하자”는 의견이 나오자, 이에 “민중 모두를 적으로 돌리는 결과를 초래한다”며 우려를 표하였다. 동학농민운동에 대한 대책 마련을 위한 어전회의에서는 과도한 세금 등으로 민중들의 삶이 매우 궁핍하니 민생 개혁, 청렴 인사 등용, 탐관오리 징계 등을 시행해야 한다고 주장하였다. 그해 7월 좌의정을 사직하여 갑오개혁에는 참여하지 않았다. 1896년 5월 ‘시무 19조’의 폐정개혁안을 건의하였다. 그 내용은 ‘언로를 열어 중책을 모을 것’, ‘현명한 인재를 널리 구할 것’, ‘재정을 충실히 한 후에 군대를 양성할 것’, ‘각지의 의병을 타이르되 토벌하지 말 것’ 등으로 특히 인재 등용과 재정 안정을 강조하였다. 또한 아관파천을 단행한 고종에게 정치와 외교의 자주성을 강조하며 환궁을 청하였고, 고종이 경운궁으로 돌아오자 황제 즉위를 적극 찬성하였다. 1898년에는 의정대신(議政大臣)에 임명되었으나, 그해 12월에 사임하고 가평으로 낙향하였다. 1905년 2월 재외 공사들이 소환되고 한국의 외교활동이 중단되는 등 국권이 크게 기울자, 77세의 노구를 이끌고 5개조의 시국 상소를 올려 개혁의 필요성을 호소하였다. 그해 11월 17일 을사늑약 체결 소식을 듣고는 “나라가 이미 망하였으니 대대로 국록을 먹던 신하로서 나라와 함께 죽는 것이 마땅하다”고 통곡하고 다시 서울로 향하였다. 11월 23일 고종의 알현을 요청하며 “다섯 가지 조목은 모두가 나라의 존망과 관련되는 관건이기 때문에 아무리 위협하고 협박하더라도 폐하의 뜻은 확고하게 흔들리지 않았던 것입니다. 그런데 정부의 신하들이 감히 사사로이 서로 가타부타하였으며 심지어 외부에서 조인까지 하였다고 하는데 고금천하에 전에 없는 이런 변이 있습니까? (중략) 그런데 한두 신하들이 폐하의 뜻을 받들지도 않고 옛 법을 따르지도 않고 어찌 제 마음대로 옳거니 그르거니 하면서 나라를 남에게 넘겨준단 말입니까? 임금과 법을 멸시한 그 죄는 만 번 죽어도 오히려 가볍습니다.”라고 아뢰었다. 외부대신 박제순(朴齊純)을 비롯한 친일파 대신들이 옛 법을 따르지 않고 고종과 주요 대신들의 의견을 묵살시키며 을사늑약을 관철시켰음을 비판하였다. 조병세는 “이러한 주장이 받아들여지지 않으면 대궐 섬돌에 머리를 쪼아 죽을지언정 살아서 대궐문을 나갈 수는 없다”고 단언할 정도로 단호한 태도를 취하였다. 11월 26일에는 스스로 대표가 되어 이근명(李根命)·민영휘(閔泳徽) 등 69명과 더불어 “박제순을 참형에 처하고 각 대신을 파면한 후 다시 충량한 신하를 가려 외부대신에 임명하여 각국 공사들과의 담판을 통해 협약을 파기해야 한다”는 내용으로 다시 상소를 올렸다. 대외적으로는 하야시 곤스케(林權助) 일본 공사에게 “군대를 동원하여 강제로 조약을 체결한 것은 국제공법에 맞지 않으니 자진철회할 것”을 요구하는 공개서한을 보냈다. 또한 영국·독일·미국·프랑스·이탈리아 등 5개국 공사들에게는 “국제공법에 의거한 합동회의를 열어 을사늑약을 부인하는 성명을 낼 것”을 호소하였다. 이 일로 일제 헌병에 붙잡혔다가 11월 29일 풀려남과 동시에 전직(前職)의 파직 조치가 취해졌다. 11월 30일에는 민영환(閔泳煥)의 자결 소식을 듣고 다시 경운궁으로 향하였다. 심순택(沈舜澤)·이근명 등과 함께 다시 상소를 올리며 “모든 대소 신료들을 소집하여 각자 당면한 급선무를 보고하게 하며 역적을 쳐야 한다”고 호소하였다. 하지만 고종은 이 간청을 듣지 않고 집으로 돌아가라고만 하였다. 일제 헌병들이 출동해 강제로 교자에 태워 족질 조민희(趙民熙)의 집으로 보내자, 이동하던 도중에 음독 자결을 결행하였다. 결국 다음날인 12월 1일 사망하였다. 이 소식을 들은 고종은 최고의 예우를 갖춰 장례를 치를 것을 지시하고, 충정(忠正)이라는 시호를 내렸다. 고종과 국민들에게 각각 유서를 남겼으며, 이는 『대한매일신보』에 전문이 게재되었다. 고종에게는 “큰 결단을 내려 을사오적을 대역부도(大逆不道)로 다스리고 각국 공사와 교섭하여 강제 조약을 폐지하여 국권을 회복하시라”고 청하였다. 국민에게는 국권회복운동에 분발할 것을 호소하는 유서를 남겼다. “병세는 죽으면서 국내 인민에게 경고합니다. 아아! 강한 이웃 나라가 맹약(盟約)을 어기고 적신(賊臣)이 나라를 팔아 500년 종묘사직이 위태롭기가 깃발에 매달린 실끈 같고 2,000만 생령이 앞으로 노예가 되고 말 것입니다. 차라리 나라를 위하여 죽을지언정 차마 오늘의 이런 수욕(羞辱)이야 당하겠습니까? 이는 정말 지사가 피를 뿌리고 열사가 울음을 삼킬 때입니다. 병세는 충분(忠憤)이 격동하여 역량을 생각지 못하고 글을 봉하여 궐문을 두드리고 대궐문에 거적자리를 펴고서 국권이 옮겨진 후에 회복하고 생령을 마지막에서 구원하려 하였습니다. 일이 마음대로 되지 않아 대세가 다 글러지고 마니 오직 한 번 죽음으로써 위로 국가에 보답하고 아래로 여러 사람에게 사죄하는 것입니다. 그러나 죽어도 여한이 있는 것은 국세(國勢)가 회복되지 못하고 임금의 근심이 풀리지 않은 것입니다. 바라건대 우리 전국 동포는 내가 죽었다고 슬퍼하지 말고 각자 분발하여 더욱 충의를 면려하고 나라를 도와서 우리 독립의 기초를 튼튼히 하고 나라가 망한 부끄러움을 설욕한다면 병세는 지하에서도 춤추며 기뻐하겠소. 각자 힘쓰시오.” 이러한 사실을 알게 된 국민들은 깊이 애도하였고, 고종은 대한제국 최고 훈장인 대훈위(大勳位) 금척대수장(金尺大綬章)을 수여하였다. 일본 도쿄(東京)에서 유학 중이던 한인 학생 100여 명은 우에노공원(上野公園)에 모여 을사늑약에 항의하며 사망한 민영환을 비롯한 애국지사 7명의 추도식을 개최하였다. 황현(黃玹)은 추모시를 지어 『매천야록(梅泉野錄)』에 실었다. 대한민국 정부는 1962년 건국훈장 대한민국장을 추서하였다.