他的父母，個性截然不同：母親是個一言一行都皈依《聖經》的虔誠的基督教徒，她勤快、節儉、樸實，家教嚴格；
而父親卻是個講究實際的花花公子，他自信、好冒險，善交際，任性而又以自我爲中心。
洛克菲勒作爲長子，他從父親那裏學會了講求實際的經商之道，又從母親那裏學到了精細、節儉、守信用、一絲不苟的長處，這對他日後的成功產生了莫大的影響。
父親名叫威廉，人稱“大個子比爾”，是個到處闖蕩的木材商、馬販子，也是個走江湖的巫醫，兜售所謂“立見奇效，包治百病”的靈丹妙藥。
此外，他還出賣土地，買賣毛皮，販鹽，推銷雜貨，幾乎是無事不幹的百事通。
父親出外經商，一去就是幾個月，家中對孩子們的教育主要由母親承擔。
但偶爾歸家的父親也與母親一樣望子成龍，一有空就教約翰如何寫商業書信，如何準確而迅速地付款，以及如何清晰地記賬。
他深知社會的現實和世道的冷酷，所以他常採用一些特殊的方式教育孩子，使他們在踏入社會之前就能堅強而且精明起來。
然而，約翰對父親血液裏流淌的東西並沒有全盤接受，他完全沒有父親那種花花公子的秉性，而是繼承了母親勤儉的美德。
他把這種信念視爲“商業訓練”，一生中烙守“不儉則匱”的準則；從中他還引申出自己的結論：“只有數字作數。”
1853年，他的家庭搬到了俄亥俄州的克里夫蘭。
1855年，洛克菲勒高中畢業，同年，洛克菲勒付費到一所學校就讀，那是福爾索姆商業學院設在克利夫蘭的分校，他只學了三個月。
9月，洛克菲勒在經過六個禮拜的求職後，終於在Hewitt&Tuttle公司開始了第一份工作：簿記員。
1857年，約翰·戴維森·洛克菲勒成爲休伊特一塔特爾公的主任簿記員，年薪也從300美元漲到了600美元。
1858年，他抄了他老闆的魷魚，以10%的利息和父親借了1000美元。
1858年，洛克菲勒與克拉克合夥開始獨立經營農產品轉售的生意。
1859年3月18日，洛克菲勒和克拉克合夥開的公司正式開業。
1861年，美國南北戰爭爆發，年輕的洛克菲勒看到了商機，向各大銀行貸款，將所有的錢用來囤積穀物、食鹽、煤等戰略物資，而後高價售出，發了一筆巨大的橫財。
而這時的洛克菲勒，終於有資本可以加入時下正熱的石油浪潮之中。
早在兩年前，美國的第一口油井成功鑽出了油，消息不脛而走，幾乎所有人都朝着賓夕法尼亞州奔去，想要參與這場鑽油熱。
克利夫蘭的商人們對這一新行當也怦然心動，他們推選年輕有爲的經紀商洛克菲勒去賓州原油產地親自調查一下。
洛克菲勒來到產油地，眼前的一切令他觸目驚心：到處是高聳的井架、凌亂簡陋的小木屋、怪模怪樣的挖井設備和儲油罐，一片烏煙瘴氣，混亂不堪。
洛克菲勒透過表面的“繁榮”景象，看到了盲目開採背後潛藏的危機。
冷靜的洛克菲勒沒有急於回去向克利夫蘭的商界彙報調查結果，而是在產油地的美利堅飯店住了下來，進一步作實地考察。
經過一段時間考察，他回到了克利夫蘭。
他建議商人不要在原油生產上投資，因爲那裏的石油開採已經過度而需求有限，油市的行情必定下跌。
他告誡說，要想創一番事業，必須學會等待，耐心等待是制勝的前提。
不同於其他冒險家的瘋狂涌入，洛克菲勒卻選擇了作壁上觀，因爲他認爲：
鑽油井有機率連續鑽到不出油的，又或是鑽到一口自噴井，這一但鑽出自噴井，就有一半多的石油噴得到處都是，十分浪費。
而且當時石油應用還沒有普及，按照如此的開採速度，勢必會導致供大於求，油價必然會下跌。
果然，如他所料，還沒過一年，每桶油的價格從剛開始的20美元暴跌到10美分。
但這個時候，洛克菲勒終於出手了。
1863年，洛克菲勒和克拉克兩人共同投資4000美元，成立Clark&Rockefeller轉向石油提煉投資。
將原油精煉成煤油，經過加工的煤油每加侖能夠賣到30美分，而一桶原油差不多有42加侖，去掉當時40%的消耗後，一桶油依然能煉出加侖煤油，賣756美分，是穩賺不賠的。
而當時的煉油技術過於粗糙，那40%的煉油剩餘物都是直接倒掉的。
而這時候的一個英國化學家化學家安德魯斯，找到了從原油中提煉出其他副產品的工藝，這些副產品可以用於製作機械的潤滑油，鋪路的焦油等等。
於是在年，安德魯斯帶着這項新的工藝加入到了洛克菲勒的煉油廠，並且合資在克利夫蘭建立煉油廠。
而這個時期，恰好趕上了美國大力發展煤煉油工業，以取代鯨油作爲照明劑的好時機。
憑藉着技術上的革新和副產品的開發，不到一年時間，他們煉油廠附近，家家戶戶的煤油燈都用上了洛克菲勒家的油，煉油也成爲了洛克菲勒家所有公司中最賺錢的業務。
於是洛克菲勒將所有資金全部投入到石油產業中來，並且想要不斷加大投資，擴大生產，很快，他們就成了當地最大，效益最好的煉油公司，一年的銷售額就高達120萬美元。
1865年，洛克菲勒和克拉克在經營方針上出現了嚴重糾紛：才20出頭的洛克菲勒做生意己頗爲老練。
他在耐心等待，冷靜觀察一段時間後，決定放手大幹了。
可他的合作者克拉克這時卻舉棋不定，不敢冒風險。兩個人在石油業務的決策上發生了嚴重分歧，最後不得不分道揚鑣。
在拍賣公司產權時，兩人都不肯放棄他們原來的經紀行在安德魯斯-克拉克公司的股權，彼此喊價的情景十分激烈。
洛克菲勒已下定決心要投入石油生意，因此每次都毫不猶豫地喊出比克拉克更高的標價，直到最後克拉克哭喪着臉說：“我不再擡價了，約翰，這股權是你的了。”
26歲的洛克菲勒終於取得了勝利：洛克菲勒大量借債籌措現金，在拍賣會上以72500美金成功將克拉克股權全數買下。
他後來在回憶這個具有決定性意義的時刻時說過：“這是我平生所做的最大決定。”
從此，他把公司改名爲“洛克菲勒-安德魯斯公司”，滿懷希望地幹起了他的石油事業。