19世紀末20世紀初，中國社會經歷着“數千年未有之變局”。在此新舊交替的過渡期，一些有識之士開始走出國門、開眼看世界，希冀從西方強國尋求救亡興國之道。
對蔡元培而言，此前的十數年裏，主要是通過中國先覺的知識分子及日本學者翻譯的西方思想學說，來了解和認識世界的形勢和最新思潮，這些書籍也確實啓蒙了他的諸多新思維。
但是百聞不如一見，從書上讀到的畢竟是第二手的資料，況且，還夾雜着譯著者自己的主觀認識甚至於偏見。親身到西方文化的發源地去看一看，挖掘更多的思想源泉、磨礪改造中國的思想利器，成了蔡元培夢寐以求的事。
20世紀初，中華大地上出國留學或考察蔚然成風，但大多是晚清政府公費官派的留學生，所去國又以日本爲主，去歐洲的很少。
蔡元培曾於1902年夏到日本遊歷，但是他於留日並無興趣。原因在於，日本雖然是一個善於學習的國家，通過學西方進行了明治維新，使得國力陡然走向強盛，但是日本並不是近代工業、近代思想和社會經濟制度的發源地。
蔡元培一心想去追尋歐洲文明的源頭，他夢想中的遊學目的地是德國。
1903年6月中旬，因愛國學社與中國教育會的同志意見不合，發生了分裂，蔡元培便離開了愛國學社。在一段時間裏他曾去青島學德語，爲赴德留學做準備。
次年，蔡元培的女兒出生，蔡元培取名“威廉”，爾後，他又爲1906年出生的兒子取名“柏齡”(柏林)。爲子女所取的這兩個德國式的名字，可見蔡元培對赴德求學的嚮往和決心。
出國是爲救國謀。蔡元培堅定地把留學目標定爲德國，是因爲在他看來德國是當時歐洲以至世界上哲學、教育學最發達的國家，在那裏最能學到對中國有益的新知。
在西方近代教育的發展進程中，德國曾做出過重要貢獻。赫爾巴特的《普通教育學》被認爲是第一部具有科學體系的教育學著作。福祿貝爾創辦的幼兒園影響了世界學前教育的發展。近代西方的教育視導、公立教育、義務教育制度、實科教育、師範教育、雙規學制和雙元制職業教育等，也大多起源於德國，並對其他國家產生了重要影響。
拿破崙戰爭後，普魯士引進了教師需要國家認證的制度(1810年)，這提升了教師的教學水平。1812年，普魯士開始設置中等學校的升學考試(這在1788年已被髮明)；到了1871年，整個德意志帝國都接受了這種制度。此後，德國的學校教育開始變得較系統化和國家化，更多的學校被建立起來。
“救國必以學，世界學術德爲尊，吾將求學於德”。在給清廷學部的留德申請呈文中，蔡元培這樣寫道：“竊職素有志教育之學，以我國現行教育之制，多仿日本。而日本教育界盛行者，爲德國海爾伯脫派。且幼稚園創於德人佛羅比爾。而強迫教育(即義務教育)之制，亦以德國行之最先……歐美各國，無能媲者。爰有遊學德國之志……至少以五年爲期。冀歸國以後，或能效壤流之助於教育界。”
蔡元培在給清政府呈文裏的這一番話，是他的肺腑之言。
怎麼才能去德國留學呢？蔡元培在尋找機會。
朋友們知道蔡元培的想法，1906年的5月間，有北京的朋友來信告訴蔡元培，清政.府擬公派幾名翰林院編檢出國留學，勸其儘快去京登記。不久，他從報紙上也看到了同樣的消息，自然是機不可失。
他於6月下旬先抵上海，去迎接章太炎出獄，並送其去日本。隨後參加鄒容死難週年紀念日，並了卻了爲這位先逝的青年志士在墓前修紀念塔的心願。
這些舉動，很像是爲他自己在滬上的革命活動，畫上一個句號。
1906年7月，蔡元培從故鄉紹興回到闊別多年的京城，第一件事是按例到翰林院銷假。此時，他的心情是很複雜的，他在給友人汪康年的信中，表明了自己的心境。
“弟此次進京銷假，本爲最不安之事。徒以遊學德意志之志，抱之數年，竟不得一機會。忽見報載學部有諮送翰林遊學東西洋之舉，不能不爲之心動。初亦恐進京事不成，徒折吾節。故初則電詢陳介公，後又電詢王書公，其回函均稱非進京不得圖。王書翁到滬面談並催弟速行。因此七月進京，此亦日暮途遠之爲，不意竟成夸父逐日之失……蓋弟數年來，視百事皆無當意。所耿耿者，惟此遊學一事耳。”
1895年（光緒二十一年），參加上海“強學會”。次年，與黃遵憲辦《時務報》，自任經理，延梁啓超主編。曾著文宣傳資產階級民權思想。後改爲《昌言報》，不久停刊。
1898年創《時務日報》於上海，旋易名《中外日報》，擁護清政府實行“新政”。曾支持上海人民反對法人侵佔“四明公所公墓”。
1901年《辛丑條約》簽訂後，俄軍久駐奉天（今瀋陽市）不撤，他憤然致電中外，慷慨力爭。
1904年任內閣中書。1907年在北京辦《京報》。1910年（宣統二年）辦《芻言報》。著有《汪穰卿遺著》《汪穰卿筆記》等。
蔡元培到京後，開始聽到的消息是因爲經費困難，緩派赴歐留學人員。他將給清廷學部的留德申請呈上後，便耐心等待。經多方打聽，不久便搞清楚了，原來“願赴歐美者人數太少，派送之事竟擱置不辦”，蔡元培的同鄉肖伯棠，繆獻甫極力勸說他自費留學，並慨然代爲籌資。
蔡元培於是一方面應譯學館館長章一山之聘，出任該館國文教員。一方面向學部申請自費留學，等待批准。
1907年4月，清政府任命孫寶琦爲駐德公使，這爲蔡元培赴德提供了機會。孫寶琦的弟弟孫寶暄與蔡元培是故交，由孫寶暄從中介紹，蔡元培到孫寶琦家登門拜訪，求孫寶琦幫忙，在駐德使館安排一任職，幫助他實現留德的心願。
孫寶琦早就認識蔡元培，並且印象極佳。不但一口答應幫忙，爲免於影響他的學習，給他安排了個虛職。除了爲蔡元培去德國提供方便外，實際是每月資助學費30兩(合42銀圓)。
與此同時，蔡元培還通過摯友張元濟與上海商務印書館商洽，特約他在德國爲該館翻譯德文著作，每月付給稿酬100銀圓。這兩筆收入遠不能解決蔡元培在德國的費用和國內妻兒的家用，但蔡元培迫切的心情使他也顧不了許多。
很快，蔡元培拋家別子，於6月隨孫寶琦一行前往德國，開始了他的首次歐洲之行。
據統計，清末留德的中國學生前後總計有114人，其中官費生87名，自費生27名，年齡多數不到25歲。在早期衆多的留學生中並不乏自費生，但是，蔡元培可謂是不依賴國內支持、“半工半讀”的第一個留學生。而且當時的蔡元培已是年近四旬，年紀遠遠超過其他留學生。
蔡元培在德國第一年居住在柏林，由於經濟拮据，生活非常艱苦，他曾以“半傭半丐之生涯”來形容自己的這段德國求學生活。
爲解決在德國生活和求學的費用，蔡元培在孫寶琦的介紹下，爲時在柏林留學的唐紹儀之侄等四人做國學家庭教師，月薪100馬克(合55銀圓)。
在爲他人補習國學獲得一定生活費用的同時，蔡元培還要請老師爲自己補習德語。蔡元培雖在青島時學過德語，但遠沒過關。德語那生疏的文法、拗口的發音對年近四十的蔡元培來說，學習起來艱難程度可以想見。
蔡元培初到德國時住在柏林，主要補習德語，爲考柏林大學作準備。
1908年暑假，蔡元培便申請就讀德國最有名的柏林大學，但因不能提供中學畢業證書而無法註冊入學，他只好離開柏林前往萊比錫大學。沒有進入德國最有名的柏林大學當然遺憾，但萊比錫大學也屬當時的尖子大學，建於1409年，是德國最古老的大學之一，擁有哲學家和實驗心理學創始人馮特和歷史學家蘭普來西等一批一流的學者。當蔡元培來到萊比錫大學時，正是大學500年校慶的前夕，也是萊比錫大學最爲輝煌的時期，學生人數達到12000人之衆。
關於這段經歷，蔡元培曾自述：“我在柏林一年，每日若干時學習德語，若干時教國學，若干時爲商務編書，若干時應酬同學，實苦應接不暇。德語進步甚緩，若長此因循，一無所得而歸國，豈不可惜！適同學齊君宗頤持使館介紹函向柏林大學報名，該大學非送驗中學畢業證不可，遂改往來比錫（Leipzig）進大學。”