同年5月9日，決議設立籌備處。7月4日，將正在籌設的中央研究院改列爲中華民國大學院的附屬機關之一。11月12日，大學院院長蔡元培聘請學術界人士30人，在大學院召開中央研究院籌備會，展開籌備工作。
1928年4月10日，國民政府修正中央研究院組織條例，成爲不屬於大學院的獨立機關。23日，特任蔡元培先生爲院長。
6月9日，舉行第1次院務會議，宣告正式成立。
蔡元培是擔任這一職務直至1940年3月。可以說，這是蔡元培在南京國民政府時期，在教育文化界寫下的最濃墨重彩的一筆，爲中國的現代科學事業奠定了基礎。
蔡元培本人並不是一個科學家，但他曾數遊歐洲，深諳科技在時代發展中的決定性作用，深知科技事業之於國家、民族的重要。
他說：“教育文化爲一國立國之根本，而科學研究尤爲一切事業之基礎。”
中央研究院也是蔡元培教育“科學化”的最重要結晶。
1927年11月9日，《中央研究院組織法》公佈，明定“中央研究院直隸於中華民國國民政府，爲中華民國最高學術研究機關”，設立物理、化學、工程、地質、天文、氣象、歷史語言、國文學、考古學、心理學、教育、社會科學、動物、植物等十四個研究所。
蔡元培作爲當時的大學院院長，具體負責中央研究院的組織工作。
1928年4月，南京國民政府公佈修正中央研究院條例，改中華民國大學院研究院爲中央研究院，直屬國民政府。
在首任院長蔡元培任內，中央研究院陸續在南京、上海等地設立十個研究所。
其中，理化實業研究所於1927年11月籌設，下有物理組、化學組、工程組。1928年7月分立爲物理研究所、化學研究所、工程研究所，均在上海。
地質調查所於1927年11月籌設，1928年7月在上海成立地質研究所。
社會科學研究所於1927年11月籌設，1928年5月正式成立，下有法制組、民族組、經濟組、社會組，前兩組在南京，後兩組在上海。1934年7月，中華教育文化基金董事會之北平社會調查所併入該所，1945年改稱社會研究所。
觀象臺於1927年11月更名，下有天文組、氣象組。1928年2月分立爲天文研究所、氣象研究所，均在南京。
語言歷史研究所於1927年夏設於廣州中山大學，1928年3月在中山大學籌設歷史語言研究所，10月22日遷入廣州柏園正式成立，後遷北平。
體質人類學研究所於1944年由史語所第四組中抽出另設，抗戰勝利復員後因限於經費，又由史語所收回接辦。
自然歷史博物館於1929年1月籌備，1930年1月成立於南京，1934年7月更名爲“動植物研究所”，1944年5月分立動物研究所、植物研究所。
心理研究所於1928年11月決定設立，1929年1月籌備，1929年5月在北平正式成立。
數學研究所於1941年籌備，1947年在上海正式成立。
醫學研究所於1944年籌備。
院長任上，蔡元培依舊奉行他的“人才至上”主義，不拘一格選用科學方面的專家。
理工方面，物理研究所聘丁西林爲所長，嚴濟慈、胡剛復、楊肇燫等爲研究員。
化學研究所聘王璡爲所長，趙燏黃、沈慈輝、曾義爲研究員。
工程研究所聘請周仁爲所長，王季同、周行健等爲研究員。
地質研究所聘李四光爲所長，翁文灝、葉良輔、徐淵摩等爲研究員。
氣象研究所聘竺可楨爲所長，胡煥庸等爲研究員。
天文研究所聘請俞青松爲所長，陳遵嬀、高平子爲研究員。
心理研究所由康鉞任所長。
人文方面，歷史語言所由傅斯年任所長，陳寅恪、趙元任、李濟分別任歷史組、語言組、考古組主任，研究員有陳垣、劉半農、徐中舒、羅常培、史祿國(白俄學者)等。
蔡元培所聘請的研究人員，幾乎囊括了當時中國科學界的頂級精英。
在研究院的行政管理上，蔡元培也始終把握專家治院的原則。研究院內總管行政事務的最初爲祕書長，後改稱爲總幹事。蔡元培聘請的第一任總幹事是楊杏佛。
楊杏佛早年加入同盟會，並曾在孫中山的臨時南京政府中任職，後赴美國留學，攻讀機械工程、工商管理、經濟。歸國後，長期協助蔡元培工作，是蔡元培創建中央研究院的最得力的助手。
蔡元培曾說：“我素來寬容而迂緩，楊君精悍而機警，正可以他之長補我之短。”
1933年，楊杏佛遭國民黨特務暗殺，物理學家丁西林短期代任總幹事一職，繼由地質學家丁文江接任總幹事。
丁文江早年留學英國攻讀動物學和地質學，1922年參與發起成立中國地質學會，與翁文灝合着《第一次中國礦業紀要》。他是一個精於科學又長於事務管理的科學家，1934年任中央研究院總幹事後在科研組織管理方面實施了一系列富有成效的改革。蔡元培稱他是一位“有辦事才能的科學家”，“我國現代稀有的人物”。
作爲一院之長的蔡元培給自己的角色定位，就是爲科研人員竭盡所能地創造學術研究條件和空間。各所的學者要去全國各地進行科學調研，蔡元培總是和國民黨的各地方軍政要員積極接洽，要求他們盡力協助。
對自己聘任的專家學者，蔡元培則用人不疑。
時任社會科學研究所社會組主任的陳翰笙回憶：“蔡先生是院長兼社會科學研究所所長，但所內的具體工作，全都放手讓我主持，從不干擾。重要事務，由我去向他報告，他仔細地、認真地、虛心地聽取報告，先徵求我的處理意見，然後由他提出具體辦法來同我商榷……我去信請教時，他都親筆回信，具體而切實，從沒有訓人的口吻。他不僅對我是這樣，他對中央研究院每一個工作人員，不論職位高低，都以謙虛誠懇的態度平等相待。”
蔡元培領導創建中國研究院，是他繼擔任民國教育總長、北大校長之後，對於中國文教科研事業所做的又一個豐碑式功績，以至有人評價，這是“蔡先生對於我國學術之最大貢獻”。
1949年，國民黨當局遷臺。12月，歷史語言研究所的全部以及數學研究所的部分共二千多箱重要圖書、文物、儀器、設備運往臺灣，遷至臺北的臺灣大學，暫存在桃園縣楊梅鎮（今桃園市楊梅區）火車站倉庫。其餘研究所皆留置於中國大陸，並發展爲後來中國科學院之主體（中國科學院早期的外文譯名亦一直沿用AcademiaSinica，現多采用英語ChineseAcademyofSciences，但仍有部分研究所沿用拉丁文譯法）。
由於多數院士及中央研究院第一屆院士會議所選出之第三屆評議員32人都留在大陸或留置國外，在臺者僅有吳大猷、朱家驊、凌鴻勳、李先聞、吳敬恆、胡適、傅斯年、李濟、董作賓、王世傑、王寵惠等人，不足法定人數，兩會無法召集並行使職權，在一段時間裏，臺“中研院”陷入半停頓狀態。
1954年，經朱家驊多方奔走，在臺北市南港區現址營建院區。植物研究所在臺“復所”。
1955年，成立中央研究院近代史研究所及中央研究院近民族研究所籌備處。
1957年，多方討論出“以報到登記人數爲實有全體人數”之辦法並呈奉臺灣當局領導人令準，於4月2日在臺舉行第二次院士會議，4月3日舉行第三屆評議會首次會議。
同年12月，胡適繼朱家驊之後擔任院長，次年正式就職。化學研究所在臺“復所”。
經胡適、王世傑、錢思亮、吳大猷、李遠哲、翁啓惠等院長之戮力經營，臺灣的“中央研究院”逐漸形成了今日之規模。
這爲後話。?