對胡適來說，在上海的日子總的說來是較爲輕鬆的，除了教授很少的課程外，主要從事研究著述。除了在原來《國語文學史》講義的基礎上改寫《白話文學史》外，還寫了幾篇關於禪宗和《紅樓夢》的文章，爲亞東圖書館標點本《官場現形記》作序，在上海同文書院作《幾個反理學的思想家》的演講，後整理成文。《新月》月刊創刊，此後胡適在《新月》上發表了不少文字。
1928年4月，胡適還帶兒子祖望與朋友沈崑三、高夢旦等到廬山遊玩一週，回到上海後寫有《廬山遊記》一文。
但是，這種輕鬆自在的日子很快被打破了。
1928年春天，胡適的母校中國公學爆發學.潮，學校董事會先後推舉于右任、蔡元培出任校長，都被學生拒絕。理由是“於、蔡二人道德學問雖好，可惜兼職太多，恐不能專心辦學”。
無奈之下，關心公學命運的王雲五、朱經農等人找到胡適，請他出山，以解危難。
在朋友勸說下，胡適勉強答應維持兩個月，到本學期結束後就辭職。答應後，很快又有點後悔。
他在1928年4月26日的日記中寫道：“今天套上一件鐐銬，答應了去做中國公學的校長。近來中國公學有風潮，校長何魯不能回去，校董會中一班舊同學但怒剛、朱經農、丁觳音、劉南陔諸君，與雲五等都來逼我。今天雲五邀我喫飯，與怒剛諸人勸我，我一時高興，遂允爲維持兩個月。此事殊不智，事後思之甚懊悔。”
作爲中國公學的校友和校董，看到母校危機，雖不是很情願，但還是勉爲其難。
4月30日，胡適到中國公學正式就任校長之職，與他一同上任的還有新任總務長但懋辛、祕書長丁觳音。
中國公學全體師生召開大會歡迎胡適。
大會由中國公學第一任總教習馬君武主持，他在致詞中說：“一九○六年胡先生考進中公時，我就認定已替中公取了一位好學生；不但成績好，品行好，風采也很好。果然，二十年後的今天，這位當年的好學生已經成爲國際著名的學者了。現在由他回到母校來做校長，是我們中國公學最光榮的事，也是我感到生平最高興的事。”
胡適也發表了就職致辭，他回顧了中國公學創辦的歷史，並特別發揮中國公學“公”字的意義，以此作爲品格教育的最高目標。
就職典禮後，胡適仔細考察了中國公學的情況。看到的情況實在是困難重重，此時已經沒有退堂鼓可打，胡適越發感到了自己肩上責任的重大。
他在當天的日記中寫道：“與但怒剛同到中國公學。雖然受了很熱烈的歡迎，但我細看校中情況，很難有辦法。最難的是經濟方面，熊、但諸君雖任此事，然他們都不是很有手腕的財政家，況在這各方面都窮困的時期呢?”
5月3日，胡適到中國公學辦公，發現學校連一本校規都沒有，於是決定從組織和法律方面入手，整頓學校。
5月5日，胡適到校召集校務會議，通過了三個議案：(1)校務會議組織大綱；(2)教務會議組織大綱；(3)學校章程起草委員會。
此外，由於之前中國公學校董名額隨時增加，沒有定額，導致分散在各省的校董總計不下百人，胡適認爲這樣的後果是“召集既甚困難，組織又不合現行制度”。因此改組校董會也成爲當務之急。
胡適當初答應接任中國公學校長，主要是爲了解決中國公學的風潮，原定任期只維持兩個月。因此，會議當天胡適向校董會提出辭職，但未能獲准。中國公學的組織大綱中有設副校長的規定，就是爲胡適繼續擔任校長準備的。
當天的會議通過決議，聘請高踐四或楊亮功爲副校長。高踐四，早年留學康奈爾大學，歸國後曾任中國公學教授。楊亮功，安徽巢縣人，早年畢業於北京大學中文系，後留學美國，先後獲斯坦福大學教育碩士，紐約大學教育學院哲學博士學位。
6月17日，胡適與楊亮功商談，勸他做中國公學的副校長，楊亮功最後答應了。
這一年的暑假，楊亮功到校任事。有了楊亮功替胡適管理日常校務，胡適可以集中精力想大事，辦大事，管他這個校長該管的事。他也不必每天都到校了。
6月25日，胡適到中國公學參加校長就職典禮。
胡適在當天的日記中說：“套上這一箍，不知何日能解下。我所以不忍丟就走的緣故有三：(1)熊錦帆、但怒剛、丁觳音諸同學真熱心辦此事，我不忍丟了他們就走；(2)這個學堂當初確然於我個人的發展曾有大影響；我若不進中公，後來發展的方向當不同；(3)此時我行就職禮，可以表示一種態度，表示我不想北去。”
最後一點是指胡適反對李石曾擔任北大校長，有人懷疑胡適自己有北上擔任北大校長的打算。
9月12日，中國公學開學，胡適本想辭去一切課程，專心管理學校和從事研究，但中國公學的學生都希望能夠親炙胡適教誨，親眼目睹胡適講課的風采，胡適於是選了一門別的教授不願教的課——中國文化史。這門課對胡適來說也很陌生，只好從頭學起，認真備課，現“蒸”現“賣”。
中國公學經費異常困窘，瀕於破產的境地，卻貪大求全，設有文、商、法、理工4院17學系，而學生僅三百餘人。
胡適從1928年暑假開始調整學校的院系設置，最終改爲文理學院、商學院、社會科學院等三個學院六個系。此舉一方面便於課程的安排和學生的全面培養，另外，有助於節省經費，減輕學校經濟上的壓力。
在教師的選聘上，胡適繼承了蔡元培“兼容幷包”的作風，遵循“不分派別，不限資格”的原則，將學術水平和能力作爲標準，堅持不拘一格選聘優秀教師。例如沈從文只有小學文憑，胡適也大膽聘用他爲大學老師，誠如沈從文所說，“這是胡適校長給予我的難得的機會，是一種很大膽的嘗試”。
爲了提高教學質量，胡適先後請來一大批著名的學者前來任教，其中有人們熟悉的高一涵、張慰慈、楊亮功、羅隆基、梁實秋、鄭振鐸、陸侃如、馮沅君、全增嘏、葉公超、饒孟侃、黃白薇等。