張其昀在臺灣擔任“教育部長”期間，促成多所大學的覆校和新學校的建立，開創博士學位教育，著力中小學基礎義務教育，基本奠定了臺灣的教育格局。
作爲學者，張其昀還是有真才實學的。是中國現代人文地理學的開創人，也是歷史地理學的鼻祖。國際權威的《科學》雜誌對他在自然地理學上的成就也有好評。在方誌學方面，其主編的《遵義新志》，在地方誌中佔有重要地位，其中開創了中國人進行土地利用調查研究的先河。他也是中國第一位研究現代國家戰略學（方略學）的學者。
1949年初，國民黨在大陸的統治面臨徹底垮臺，國民黨何去何從讓蔣介石徹夜不眠。直到有一天，張其昀向他說了一句話：“上上良策是退守臺灣！”蔣介石心頭一震，馬上請他進密室詳談。張其昀認爲：以長江天險分割天下，不過是國民黨一廂情願的主張，勢如破竹的共產黨絕不會同意。退守西南、海南也只是不切實際的想法，唯有臺灣纔可成爲國民黨最後的庇護之所。
1955年7月27日，時任《自由中國》編輯的雷震給胡適信中說了一件小事：當時蔣經國大公子蔣孝文高中畢業分數爲161分，而當時高中畢業獎學金標準是210分，蔣公子顯然是不及格的。但是時任國民黨教育部長的張其昀卻希望通過。此事在教育部討論許久，有人說總統孫子要出國，辦法甚多，不必走考試這一條路。考試不能玩假的。但是張其昀在7月9日下午5點多，還是將蔣孝文的名字列在考取名單之內。
身爲教育部長的張其昀利用違規的獎學金討好蔣經國，若擔任中研院院長也勢必會討好逢迎蔣氏父子。而此時已經暗中拉票爭取中研院院長的張其昀已經拉攏了梅貽琦等一派重要知識分子，胡適對張其昀的拉票不以爲然，但是對於張其昀身爲教育部長居然違規考試製度卻耿耿於懷。
1957年12月15日，胡適在給老友趙元任的信中披露了他的心聲，中研院是先賢蔡元培和丁文江等自由派知識分子創立的一個成果，向來奉行學術獨立與思想自由，不受政治干擾，爲捍衛學術尊嚴和自由精神，胡適最終決定出任中研院院長。
1958年4月2日胡適從紐約啓程，4月8日抵臺北，“副總統”陳誠率高級官員以及文化教育界人士約500多人到機場迎接。4月9日蔣介石在士林官邸以茶點款待胡適。
1958年4月10日上午，“中央研究院”史語所考古館樓上羣賢畢至、大師雲集，新任院長在此舉行就職典禮儀式，胡適正式接受了“中央研究院”的院長職務。
他在典禮上講話說：“我已經六十七歲了，照西洋的看法已過了六十六歲。學術界有個普遍的規矩，年滿六十五歲的學者退休之後，可以做他自己喜歡做的事，把研究工作讓生力軍補上。我已過了退休年齡一年有半，應該退休，享我退休的權利，做我自己喜歡做的事：看書、寫文章。但在這個時候，國家艱難，而時代已進入原子能科學時代，國家需要科學，國家需要學術基礎，而我們應爲國家努力建立學術科學研究的基礎，何況我們對中央研究院三十年來都有密切的關係。希望各研究所所長，各位研究員同人同我一致向這個目標前進。”
胡適以“中央研究院”新院長身份宣佈院士會議召開，首先邀請蔣介石致辭。蔣介石事先並沒有準備講稿，所以是即興講話。
蔣介石在致辭中說：“我對胡先生，不但佩服他的學問，他的道德品格我尤其佩服。不過只有一件事，我在這裏願意向胡先生一提，那就是關於提倡打倒孔家店。當我年輕之時，也曾十分相信，不過隨着年紀增長，閱歷增多，才知道孔家店不應該被打倒，因爲裏面確有不少很有價值的東西。”講完這些後，蔣介石接着對“中央研究院”工作提出明確要求，“中央研究院不但爲全國學術之最高研究機構，且應擔負起復興民族文化之艱鉅任務”，要配合當局“早日完成反.共抗俄使命”。
蔣介石講完話後，胡適站起來答話。他一開口就說：“‘總統’，你錯了”。胡適的話讓大家瞠目結舌、臉色都凝住了，會場氣氛頓時變得非常緊張。
這時只見胡適溫文爾雅地說道：“承‘總統’對我如此的稱讚，我實在不敢當，在這裏仍必須謝謝‘總統’。不過對於打倒孔家店一事，恐怕‘總統’是誤會了我的意思。我所謂的打倒，是打倒孔家店的權威性、神祕性，世界任何的思想學說，凡是不允許人家懷疑的、批評的，我都要打倒。”對於蔣介石對“中央研究院”提出的任務，胡適同樣表示不認可。他說：“我個人認爲，我們學術界和‘中央研究院’挑起反.共復國的任務，我們所做的工作還是在學術上，我們要提倡學術。”胡適言下之意就是，要怎樣走“學術的路”，這是學術界自己的事，與政治領域最高領導者無關。
蔣介石聽完胡適這番講話後，立即怫然變色，站起身來當場便要走，幸虧坐在他旁邊的陳誠反應及時，趕快將其拉住坐下，這樣蔣介石才硬着頭皮勉強參加完會議。
要知道，蔣介石當時在臺灣正處於威權時期，一言九鼎，別說是當面頂撞，就是提一點溫和的小建議動輒也會“龍顏大怒”。可是胡適爲了學術的自由與獨立卻偏偏與他公開交鋒、叫板，這實在讓他在衆人面前大失顏面。蔣介石認爲胡適在如此正式的場合當衆“糾正”自己，是在向自己的權威挑戰，是對自己的一種公開、公然蔑視。蔣介石將這件事引爲是奇恥大辱，以至於夜不成寐。
在當天的日記中寫道：“今天實爲我平生所遭遇的第二次最大的橫逆之來。第一次乃是民國十五年冬、十六年初在武漢受鮑爾廷宴會中之侮辱。而今天在中央研究院聽胡適就職典禮中之答拜的侮辱，亦可說是求全之毀，我不知其人之狂妄荒謬至此，真是一狂人。今後又增我一次交友不易之經驗。而我輕交過譽，待人過厚，反爲人所輕侮，應切戒之。惟仍恐其心理病態已深，不久於人世爲慮也。十時，到南港中央研究院參加院長就職典禮，致辭約半小時，聞胡答辭爲憾，但對其仍禮遇不予計較……因胡事終日抑鬱，服藥後方可安眠。”(蔣介石日記，1958年4月10日)。