在紐約，銀行業已全部癱瘓，許多銀行倒閉。
衰退雖然對摩根家族的財產並沒有構成嚴重威脅，但他們所擁有的一些產業也受到了一定程度的影響。
朱尼爾斯在兒子出生兩週後，就被迫離家到美國南部去出差，做一次長期的和原本要推遲的旅行。
因爲他擔當合夥人的公司經營從南方運來的棉花，因沒有硬通貨、外匯或外國銀行的信用證而無力支付貨款，無法從南部籌集貨源。
朱尼爾斯一出門，朱麗葉就帶了孩子回到波士頓的孃家，幾乎整個夏天她都是在孃家度過的。
這一時期，摩根家和皮爾龐特家經常來往。
約瑟夫多次出差到波士頓來，每次必定要來看看小摩根的外祖父和外祖母，當然也是來看望他的小孫子。
他會很虔誠地聆聽皮爾龐特牧師所做的講演，傾聽他敘述他在君士坦丁堡的見聞。
6月底，朱尼爾斯回到哈特福德，他在4天內迅速向其合夥人彙報了出差情況，然後便趕快趕到了波士頓他丈人家中，看望他的妻子和孩子。
7月初，按照嚴格的基督教公理會的禮儀，他們爲約翰·皮爾龐特·摩根舉行了洗禮和命名儀式。然後，他把他們母子接回了哈特福德俄塞勒姆街的家中。
1838年，朱尼爾斯把他自己的小家搬到了教堂街。
1839年，他又在勞德山法明頓大街開始修建自己的大房子和穀倉。
然而，這一年對摩根家來說，卻是一個困難時期。
那一年的洪水沖走了康涅狄格河上一座約60米長的大橋，而約瑟夫·摩根在修建該橋時投資了股份。這一年大風雪、火災和其他災禍使得伊特納保險公司僅在下半年就虧損12.8萬美元。
約瑟夫哀嘆伊特納保險公司的悲慘境地，而他卻給爲他兒子蓋房子的建築工豐厚的工資，希望房子能儘早建成。儘管如此，朱尼爾斯爲建造新家採購的東西也因爲惡劣的天氣而無法按時拉回來。
朱尼爾斯搭乘輪船，準備把在紐約爲新家選購的壁爐架等運回去。
該船預定開到康涅狄格州，但是船員們因害怕河中的冰塊，輪船中途返到了紐黑文，並把貨物都卸在那兒，這使朱尼爾斯極爲惱火。
在他們第二個孩子、女兒薩拉·斯賓塞·摩根出生時，房子才建造了一半。
但很快摩根家就度過了困難時期，1840年朱尼爾斯成爲紐黑文和哈特福德鐵路局董事。
3歲的小摩根也第一次乘坐了火車。
19世紀40年代的摩根一家在哈特福德是異常活躍的。
這一時期，約瑟夫爲推銷斯普林菲爾德和阿伯尼鐵路局的證券特別賣力。
他還和兒子朱尼爾斯不停地爲他們的保險公司、銀行和鐵路局到各地出差。
摩根家的家庭生活也很溫暖，家裏人經常聚會並搞些娛樂活動。
孩子們的出生爲這個家庭又增加了新的生機。
在朱麗葉生小瑪麗·萊曼·摩根的前後，約瑟夫就開始花很多時間用車接送孩子到農莊去玩耍。
1845年，約瑟夫又在豪和馬塞公司爲兒子朱尼爾斯投資了25000美元。
朱尼爾斯還被選爲哈特福德火災保險公司的董事。
這一榮譽反映了他的家族在哈特福德的地位以及他們在保險公司的投資分量。
1846年，9歲的小摩根開始了他的學習生涯。
少年時期的小摩根並不像他剛出生時那樣體格健壯，相反，他似乎繼承了他母親的病弱體質，孩提時代的他，大部分時間是疾病纏身，所以他所接受的學校教育從一開始就是斷斷續續的。
開始，他在離家很近的教區學校裏待了幾個月，接着又到康涅狄格州聖公會學校裏待了幾天。
開始上學的這一年，小摩根由於經常生病仍然有很多時間待在家裏，雖然他的爺爺約瑟夫身體不好也常在家裏，但小摩根還是感到很孤獨，他想改變自己的生活。
後來，他父親就把他從哈特福德送到柴郡小學去讀書，從此小摩根開始了寄宿學生的獨立生活。但是由於身體狀況時好時壞，他從第一年起就經常不能去柴郡上學。
1847年7月23日，約瑟夫·摩根去世，享年67歲。
在生命最後的幾周裏，他開始消瘦，但仍像年輕時那樣活躍，也許他知道自己將不久於人世，他開始把產業轉讓出去。
約瑟夫去世時爲兒子朱尼爾斯留下了一筆數量相當可觀的遺產。
據傳，約瑟夫·摩根爲兒子留下了數百萬美元的遺產，但就所公佈的數字來看，他離百萬富翁還相差甚遠。
他的委託人聲稱，他在遺囑裏只提到了10.2萬美元的財產，其中92000美元是房地產，但是這僅僅是約瑟夫·摩根去世前幾個月所擁有的財產一小部分。
毫無疑問，在遺囑上統計的數字只是老人臨死時當地的房地產和在銀行裏的存款。
尚未統計他在各個銀行裏的股份，沒有統計他在輪船公司、運河公司、橋樑公司和至少兩家鐵路局裏的股份和他在伊特納保險公司裏的大量資產。
這些對40歲的朱尼爾斯來說，是一筆很大的財富。
朱尼爾斯並沒有被這筆財富衝昏頭腦，反而很好地利用這筆財富，與當時波士頓最大的零售商店（J.M&Beebe&Co）合作，從事起了乾貨進出口貿易。
也因此結識了喬治·皮博迪，這個人雖然不姓摩根，但正是他的出現讓此時的摩根家族增加了至少20倍的資產，併爲之後他們的金融帝國打下了堅實的基礎。
喬治·皮博迪是倫敦著名的銀行家，之所以能在被羅斯柴爾德家族稱霸的歐洲銀行界擁有一席之地，就是因爲他投資了羅斯柴爾德家族看不上的美國。