他事前曾電請張敬堯派員到衡州協商接防問題。張敬堯派湖南暫編第二師師長吳新田爲“主持湘南防務司令官”，於二十一日到衡州，與吳佩孚及湘軍代表簽訂條約，南北兩軍維持原有停戰界線，湘直兩軍停戰協定繼續有效。
直到吳佩孚所部撤防的前夕，北京政.府纔有電報批准直軍撤防。這樣也就使吳部的北歸，有了合法性。
吳佩孚所部開拔時作環狀隊形的佈置，主力居中，湘江兩岸各設掩護隊，前方設有偵察兵，後面設有殿卒。大軍揚帆而下，全軍齊唱吳所親撰的《登蓬萊閣歌》。
途中吳秀才詩興大發，寫下《回防途次》，詩曰：
行行重行行，曰歸復曰歸。
江南草木長，衆鳥亦飛飛。
憶昔赴戎機，長途雨雪霏。
整旅來湘浦，萬里振天威。
孰意輦轂下，妖孽亂京畿。
虺蛇思吞象，投鞭欲斷淝。
我今定歸期，天下一戎衣。
舳艫連千里，旌旗蔽四圍。
春滿瀟湘路，楊柳正依依。
和風送歸鳥，綠草映晴暉。
少年惜春華，勝日鬥芳菲。
來路作歸程，風景仍依稀。
周公徂東山，憂攙亦畏譏。
軍中名將老，江上昔人非。
建樹須及時，動靜宜見幾。
何日摧狂虜，發揚見國威。
不問個人瘦，惟期天下肥。
丈夫貴兼濟，功德乃巍巍。
江上送歸舟，風急不停揮。
得遂擊楫志，青史有光輝。
春日雁北向，萬里動芳徽。
鴻漸磐石願，衍衍不啼飢。
止戈以爲武，烽煙思郊圻。
同仇復同仇，歸願莫相違。
吳佩孚所部於二十七日由水路經過長沙。
張敬堯怕吳部舍舟登陸“戰長沙”，在湘江右翼配置了強大的兵力，但只作防禦準備。
而吳部根本無意上岸，雖亦作緊急戒備，不過是怕張軍襲擊而已。
雙方都很剋制，均未挑釁生事，吳部隨後揚帆而去。
吳佩孚所部於五月二十九日過嶽州，三十一日在漢口集中。
吳部北行，一舉一動都引來各方關注，其滯留漢口，久而不發，因之而謠言四起。
北京政.府以吳佩孚所部按兵武漢。引起各方猜忌爲名，促其儘快離開。並電曹錕，請他下令督促吳部速行。
吳佩孚本打算在武漢稍事休整，但迫於情勢不得不迅速開拔。派其參謀長赴汴與趙倜密商後，商定吳部暫駐信陽、許州、鄭州等處。
隨後於六月七日晚由武漢起程。八日抵鄭。
所部第一旅駐許昌，第二旅駐駐馬店，第三旅分駐順德、磁州，騎兵團駐黃河橋，步兵八團駐新鄉縣。
沿途旌旗滿目，帳幕相望，軍容整齊而士氣高漲。
吳佩孚所部北歸，直接的結果是直皖兩系短兵相接，段祺瑞早就已經認識到了問題的嚴重，他不能不有所應對。
早在一九二零年四月下旬，駐防陝西的奉軍許蘭洲部忽然移動到華陰、潼關、觀音堂一帶。這個行動使段祺瑞懷疑是奉軍有企圖移向河南，策應直軍北進。
一面召回徐樹錚，並將全部西北邊防軍調回北京附近，一面決定自己出馬擔任川陝剿匪總司令，率領邊防軍一三兩師向陝西出發，討伐陝南民軍和川滇靖國軍。
爲了提防靳雲鵬在北京搗鬼，準備派其爲副司令或參謀長，令其隨軍出發。這其實是在“聲東擊西”，真正目的並不是向陝西出兵，而是準備進軍鄭州。其計劃是首先驅逐河南督軍趙倜，然後派軍防守京漢路南段，阻斷直軍的歸路。如果直軍打算強行通過，就地予以迎擊。
段祺瑞認爲在河南與直軍作戰，不但北京根據地不致受到戰火的威脅，而且山東、安徽兩省的皖系軍隊可以側擊直軍。
但是，當段帶兵出征陝西的消息傳到關外，張作霖立刻藉口邊防軍出動，北京防務空虛，要求准許奉軍入關“拱衛京師”。如果北京真的由奉軍拱衛，北京就變成張作霖的天下了，這便使得段祺瑞，被迫放棄這個想爭取主動的作戰計劃。
六月十三日，一直出語驚人的吳佩孚在鄭州發出一個爆炸性的電報，分致反皖的八省聯盟各督軍，內容是：反對安福系包辦上海和會，建議召開國民大會解決一切問題。
這個電報之所以具有爆炸性，是因爲這個建議不但遭致皖系的強烈反對，八省聯盟內部也是一片反對之聲。聯盟的領軍人物之一的張作霖爲此而大發脾氣，就連吳的上司曹錕也一個勁地搖頭。
北方反段的軍人雖然不滿意吳的狂妄，但考慮到直皖戰爭爆炸在即，吳是一個肯打硬仗的虎將，其軍隊又能征善戰，因此而對吳的過分言行，只好隱忍於心。
但是，吳這一通電得到南方各人民團體的熱烈歡迎。
吳佩孚將其主力佈置在河南，造成北方風雲突變。奉軍爲了暗中策應直軍，也零零星星地分爲三營五營開進關來，六月十日駐獨流鎮的奉軍四營，經過天津開往廊房。
曹錕也於六月十日派兵監視德州兵工廠，並以德州爲直軍右翼的前哨陣地。
六月十五日，吳佩孚偕同三個混成旅的旅長到了保定。同日，江蘇、奉天等省代表也都到保定，來參加曹錕所召集的軍事會議，這是一次祕密的，卻是極重要的軍事會議。
段祺瑞方面自然也積極佈置，他密令駐守濟南的邊防軍第二師師長馬良作好動員準備，俟機北向進攻德州，或者西向側擊鄭州。
爲了準備打仗，皖系積極籌措戰費，由安福系的交通總長曾毓雋，以京綏路爲抵押，向日本借款五百萬元作爲戰費。
在中國內爭上，日本是傾向皖系的，日本方面本來是願意幫這個忙的。只是這個時候，日本已不能像歐戰期間那樣，可以在亞洲尤其是中國爲所欲爲了。美英等已經聯合起來，在中國問題上採取強硬的立場，監視着日本的一舉一動。
由於美英兩國出面干涉，皖系以京綏路向日本押借五百萬元沒能如願。
這時候，皖系無論在外交上、財政上、或是作戰的戰略地位上，都處於十分不利的地位。
最大的致命傷是兩個，一個是主張武統，發動南北戰爭。在全國人心盼望和平統一的時候，內戰是不得人心的。一個是親日，當時全國人心都痛恨日本侵略，尤其在歐戰期間乘火打劫，企圖獨吞山東。國人對日如對過街老鼠，皖系的親日自是大失人心。