1927年4月18日，蔣介石操縱下的南京國民政府成立。蔡元培作爲國民黨中央監察委員會代表，發表了演說，明確提出當時的武漢國民政府，“受.共.產.黨妨害”和俄國人操縱，應予取消。
6月19日至21日，他又與胡漢民、吳稚暉、張靜江等，追隨蔣介石參加與西北軍閥馮玉祥商討聯合清共的徐州會議，並在這年9月，促成了南京國民政府同武漢國民政府合併的“寧漢合流”。蔡元培與汪精衛、胡漢民、李烈鈞、譚延闓五人，在合併後的國民政府委員會中被列爲常務委員。
當時在南京，有蔣介石控制的“國民政府”和“中央黨部”；在武漢，有汪精衛控制的“國民政府”和“中央黨部”。另外上海和各地都有一些軍閥把持的地方政權，但是主要以南京和武漢，蔣介石和汪精衛爲主。由於南京國民政府和武漢國民政府在反.共問題上已沒有分歧，武漢方面漸有妥協趨勢。
爲了實現“合作清黨”、“統一黨務”，通過一系列醞釀和接觸，馮玉祥從中牽線，與各方反覆電商，於7月20日提出解決寧、漢合作的具體辦法。汪精衛等表示願意“和平統一”，同意“遷都南京”。
蔣介石、李宗仁、胡漢民等歡迎武漢重要分子到南京“柄政”，贊成各方“共同北伐”。8月上旬，寧、漢雙方基本上達成了妥協。
由於南京的蔣介石在爭權奪利的鬥爭中處境漸顯不利，加之蔣的國民革命軍在徐州戰場被孫傳芳打的一敗塗地，蔣介石不得不宣佈下野。
蔣介石的政治生涯中曾有三次下野，這是他的第一次下野。
蔣介石的下臺促使南京和武漢方面迅速靠攏，8月25日武漢國民政府遷往南京，南京國民政府同武漢國民政府合併，因南京簡稱“寧”，武漢簡稱“漢”，史稱“寧漢合流”。
這一期間，蔡元培繼續積極地支持蔣介石。蔣介石宣佈下野後，蔡元培與胡漢民、吳稚暉等人即聯合通電，聲明與蔣介石同進退，同時辭職。
在隨後的寧漢談判中，蔡元培與蔣介石的政敵——汪精衛針鋒相對，他聯合張靜江、李宗仁、吳稚暉、李石曾等，以中央監察委員會的名義彈劾汪精衛，指斥汪精衛口是心非、阻礙清共。
蔣介石的下野當然只是一時的權宜之計，他並未失去江浙財團和國民黨黃埔系軍官的支持。
1927年12月10日，國民黨二屆四中全會上通過恢復蔣介石國民革命軍部司令的職務。身爲國民黨元老的蔡元培即發表擁蔣宣言，他在南京向新聞界說，蔣介石“功在黨國，此次再任艱鉅，自極贊同。餘意蔣先生復職後，必能將所有軍隊凡立於剷除共.黨、打倒軍閥之旗幟者，結合爲一”。
隨後蔡元培又與國民黨軍政首領們一道去南京車站迎接蔣介石復職，並在歡迎會上發表講話稱，蔣介石“與本黨歷史甚深”，蔣的復職，“不獨北伐可以進展，而一切困難問題，亦可解決。”
在當時的蔡元培看來，蔣介石是國民黨中可靠的老同志，又是國民革命軍的領導者，只有支持蔣介石這樣年富力強的領導者才能完成北伐大業、進而完成統一中國的革命事業。
空前慘烈的清黨大捕殺，雖然沒有從根本上改變蔡元培對蔣介石的支持，但畢竟埋下了諸多芥蒂。而讓蔡元培這樣的自由知識分子，更爲不滿的是蔣介石日益顯露出的獨裁傾向。漸漸地，蔡元培不再毫無保留地支持蔣介石了。
1928年9月，蔡元培以在國民黨《三民半月刊》第1卷第4期發表《三民主義的中和性》一文告誡國民黨當局在反.共的同時要謹防出現法西斯主義貨色，指出“若口唱三民主義，而精神上不是法西斯，便是波爾雪維克(即布爾什維克)，那就是孫先生的罪人了”。
1928年10月8日，國民黨的中常會再次推蔡元培爲國民政府委員併兼任監察院院長。蔡元培感到，這個任命實際上是出於蔣介石在國民黨內派系鬥爭的需要，他不願去趟這個渾水。
在10月13日寫給吳稚暉的私函中，蔡元培寫道，“此次國府委員名單及院長與主席人選，完全由先生及張、李兩先生提出，諸先生不避嫌之勇氣，固爲可佩，然未免太露骨，如留弟一人，立於半超然之地位，仍亦不爲無益”。
從這個時候開始，蔡元培這個在國民黨內有影響的人物，在黨內紛爭中，不再堅定地站在中國政壇日益崛起的蔣介石一邊，而是採取了他常說的“超然”態度，有時甚至站到了蔣介石的對立面。
1929年，蔣介石的親信、湖南省主席魯滌平被國民黨中的桂系免職，與南京的蔣介石政府發生矛盾。蔡元培作爲“湘案”的查辦員，反對蔣介石用武力對付桂系。調解過程中，蔣介石扣押了由蔡元培等國民黨四元老邀請來南京的李濟深。蔡元培知道後深爲驚怒，對蔣介石的種種行徑越發反感。
1931年2月，國民黨早期領導人、時任立法院長的胡漢民，因拒絕支持蔣介石的有關舉措，被蔣介石扣押軟禁，引發國民黨內反蔣各派聯合在廣州另組國民政府。形成嚴重的寧粵對峙，雙方劍拔弩張。
蔡元培作爲南京方面的代表，與張靜江、吳稚暉等赴廣東居中調解。
在寧粵雙方的談判會議上，蔡元培先後擔任會議主席。
時任會議祕書的程滄波回憶說：“蔡先生當時做主席，儘管李文範在那裏跳，伍朝樞冷嘲熱諷地罵，他坐在席上絲毫不動。……寧粵相爭，儘管鬧得滿天星斗，但蔡先生處之泰然。這一段期間，我跟蔡先生接觸很多，不但白天有接觸，晚上也常到他那裏。他很少談和談的事，也不談現實的問題，他很超然，眼光看得很遠，仍然是談教育、談思想、談文化。”
在私下，蔡元培這時與國民黨內反蔣的鄧演達、陳銘樞來往，參與策劃倒蔣活動。他們商定，看準時機在軍事上佔領閩粵一帶，然後由蔡元培領銜發表對時局的宣言，呼籲和平、停止內戰、一致對外。
陳樞銘後來回憶：“其時，我認爲蔡元培有政治威望，擇生(即鄧演達)有羣衆基礎，我有軍事力量，我們三人合作計劃實現，定可另開一新局面。”
恰在隨後，發生了震驚國人的“九一八”事變，日本佔領中國東北。爲避免國內的政治分裂，使外敵有隙可乘，蔡元培與陳樞銘遂放棄倒蔣的計劃。
這時蔡元培的身份仍是受蔣介石指派的南京方面談判代表。但在談判中，蔡元培沒有替蔣介石說話，他抵廣東後不久，即接受廣東方面提出的和解條件：任命陳銘樞爲京滬衛戍司令，調他的十九路軍駐紮京滬一帶。接受把蔣介石下野做爲雙方和解的先決條件。
聞知蔡元培輕易接受粵方條件、以自己下野促成雙方和解，蔣介石十分生氣，第二天即致電斥責。支持蔣介石的李石曾、吳鐵城等也紛紛致電蔡元培，表示反對。
“九一八事變”之後，蔣介石提出“攘外必先安內”的政治策略。一方面下令張學良的東北軍撤出東北，將中國大片疆域拱手讓與日本人。另一方面加緊對共產黨的圍剿，全然不顧國內一片抗擊日寇的呼聲。這時候反對蔣介石的國民黨高層也給蔣介石更大的壓力，他們逼迫蔣介石交出權力。爲了給國民黨內外一個交代，蔣介石只好第二次下野。
蔣介石第二次下野，從1931年12月15日開始，到1932年1月28日結束，歷時只有一個多月。由於蔣介石共進退的財政部長宋子文也宣佈辭職，於是南京國民政府人財兩空，政府混亂。這樣一來，國民黨內又響起起用蔣介石的呼聲，於是蔣介石順理成章地第二次復出。
對蔣介石的這一次復出，蔡元培非但沒有表達歡迎之意，反而在汪精衛邀請他加入蔣汪聯合政府的時候予以回絕。
他說：“救國必須分工，自獻宜稽效率。運籌帷幄之內，折衝尊俎之間，實非墟如弟者，所能助力。若強作解事，相與周旋，隔靴搔癢，徒亂人意；不如擇性所近，盡力所及，竭一得之愚，求幾分之效，比於不賢識小，借告無罪云爾。”
至於蔣介石對蔡元培，其實從沒有好感，只不過是利用蔡的名聲和人脈。這在蔣介石的日記中可看出，“惟其在教育上與本黨主義之功罪而言，以吾所見者，但有罪過而已，尤其是教育受其鄉愿式之影響爲更惡劣也。”
從蔣氏這一日記中不難看出，蔣對蔡其人，乃至對蔡所從事的教育事業是何態度。