一八六九年在鎮壓幕府殘餘勢力的箱館戰役中表現出色，由山田顯義推薦入大阪兵學校學習。
一八七一年八月十四日初任陸軍少尉。歷任陸士學生司令副官，後備步兵第六大隊長，近衛步兵第一聯隊第一大隊第一中隊長。
一八七七年參加西南戰爭，在最大的一次戰役中右手負傷。由此轉入軍事教育系統。任陸士學生大隊大隊長。
一八八二年作爲閒院宮載仁親王的隨員赴法國，駐法公使館附武官。一八八七年回國任陸軍大臣大山岩的官房副官，祕書官兼陸軍戶山學校校長，陸士校長代理，陸士校長。由於得到日本陸軍創始人山縣有朋元帥賞識，任第一師團參謀長，參謀本部第一局長。甲午中日戰爭時任大本營運輸通信部長官。
一八九四年八月二十七日晉升陸軍少將。後歷任參謀本部第一局長（事務代理），升男爵，參謀本部附，步兵第三旅團長。
一八九八年首任陸軍教育總監，陸士校長（事務代理），同年升爲中將。
一九零零年兼參謀次長兼鐵道會議議長。一九零二年任第一屆桂太郎內閣陸軍大臣兼教育總監，並在第一次西園寺公望內閣、第二次桂太郎內閣中留任，任期長達十年。參與指揮日俄戰爭。一九零六年十一月二十一日晉升陸軍大將，翌年九月二十一日升子爵。任鐵道會議議長兼馬政長官兼韓國統監兼第一任朝鮮總督。
在職六年中，鎮壓了朝鮮人民的反抗鬥爭，建立了日本對朝鮮的殖民統治。完全吞併朝鮮。
一九一一年四月二十一日升伯爵，一九一六年六月二十四日授予元帥稱號，在山縣有朋的堅決支持下，同年十月九日接任第十八任日本內閣總理大臣。
寺內正毅是個從政老手，一上臺就高唱日“支”親善。日本外相後藤邀晤中國公使章宗祥密談，希望中國派一個親善使節到日本進行關於解決中日懸案的談判，日本且願借款支持中國政.府。
日本希望中國政.府先派親日的曹汝霖爲祕使前來日本，把一切條件談妥，然後再派一個如徐世昌這樣的，親日色彩並不濃的大員，以正式使節出面來簽訂這個協定。
章宗祥把這消息告訴了曹汝霖，曹本應列入帝制禍首名單內，由於日本公使的庇護才得逍遙法外。
曹得到章宗祥的祕訊，向段進言，提出“攘內”必先“安外”，必須借外援統一這個四分五裂的中國。所謂的外援，就是取得外國的政治借款和軍火供應，有了這兩項，就可以鎮壓國內的反對力量。
曹又推論袁世凱的外交失敗原因，是外交上採取了聯英聯美以制日的錯誤方針。日本近，英美遠，遠水不能救近火，英美忙於歐戰，抽不出力量到東方來。中國向美國借款，或者親近英美，首先就會受到日本政.府的強力反對，而西方國家爲了討好日本，在緊要關頭上也會犧牲中國，弱國不能採取“遠交近攻，以夷制夷”的外交政策，而只能採取“近交善鄰”的外交政策。
段祺瑞正苦於自己的政權不穩，財政上已經面臨山窮水盡，對外借款波折重重。軍事上他也不能控制南方，甚至不能控制北洋派。加上總統和國會又處處和他爲難。很自然地聽了曹的話，希望得到日本這個外援。段也認爲徐世昌是最好人選，就派人去作徐世昌的工作。
民國五年十一月二十六日，段根據曹的意見，以國務院的名義令章宗祥先與日本政.府接洽，派曹汝霖爲親善特使。
這件重大任命，段既未通過國務會議，也把總統矇在鼓裏。直到十一月三十日日本同意了，段才提交國務會議。還是把問題的真相隱瞞着，只輕描淡寫地把這件事說成是外交上的一種儀式，因爲日本內閣改組而派使致意，閣員們果然被瞞過。
十二月一日段把擬好的命令：“派曹汝霖爲特使以大勳位贈與日皇”送到總統府去蓋印，並令曹親自去謁黎說明一切。曹見到黎，說得也是一番官話。
不料曹的話還沒有說完，老好人的黎元洪竟陡然站起來，大聲叱罵說：“好，你們要賣國，我黎元洪偏不讓你們賣國。”
曹汝霖碰了一個大釘子，垂頭喪氣地退了出來。
曹汝霖被黎元洪轟出來後，正巧新任國務院祕書長張國淦也來謁黎。
黎餘怒未息，見了張也沒好氣：“好，你們集體賣國！”
張找黎是來談別的事，如丈二金剛摸不着頭腦，只好僵在一邊。直到黎氣平後，把經過告訴了張，張才知原委，便建議黎，把這個問題提交國會去解決。
梁啓超、湯化龍一派的研究系議員，雖然極力維持段內閣，但無濟於事。參、衆兩院同時提出了關於派曹汝霖爲赴日贈勳特使，事先未經國會同意的質問案。
十二月五日，段親自到參議院解釋說：“曹汝霖現任參議員，既爲國民代表之一，就不能指摘政.府用人不當。曹汝霖精通日語，熟習外交儀節，日本政.府已經表示歡迎，未便改派別人前往。”
同一天，段派外交部參事伍朝樞代表他到衆議院解釋說：“十一月十八日，政.府接到駐日公使章宗祥的報告，日本政.府表示歡迎曹汝霖爲贈勳特使，這個問題未便變更前議。”
參、衆兩院對段的答覆都不滿意，衆議院作出決定：關於派遣特使案，應於事前徵求國會同意，否則不能予以承認。
黎元洪和國會只是就法理程序反對曹赴日，卻不知道曹去日本是爲了進行祕密外交，所以他們都不反對派特使到日本，而只反對派曹爲特使。
由於這個原因，段乃改變方法，把派遣特使赴日授勳事弄假成真地作爲一個外交禮節。
十二月十三日北京政.府下令：“派熊希齡前往日本呈遞大勳位。”
這道命令中並未給熊以特使名義，以避免又要徵求國會方面的同意。可是這道命令發表後，又引起了日本的反對。
本來在派熊命令發佈前，已獲得日本“沒有反對熊”之意，不料命令發表後，日本外相本野忽又面告章宗祥說：“貴國政.府擬派曹汝霖，我們已奏明天皇，我國輿論也一致表示歡迎。今又改派熊希齡，足見貴國政.府的內部並不一致，今後人選可能隨時會變，與我國輿論也不一致，請熊先生展期來日。”