胡漢民以國民黨元老之尊、以立法院院長之尊，僅因政見有異，被蔣介石說抓就抓，軟禁七個多月之久，痛定思痛之餘，決心要打倒蔣介石個人獨裁，並不是僅僅為了雪個人之憾，在他看來，亦要為黨國除去“一大毒瘡”。他在一封密函中用暗語說：
門與門係為中國致命一大毒瘡，能請西醫割去，是一治法，否則用中醫拔毒(什麼內託外消)、打消方劑，抑或見效。除卻二者便無是處也。(《胡先生親筆函電及批註》，哈佛燕京學社圖書館藏，轉引自楊天石《尋求歷史的謎底》，頁五六五)
門，用《水滸傳》“武松醉打蔣門神”典故，隱指蔣介石，即不惜以“外科”或“內科”手術，來取掉蔣介石這個“大毒瘡”，銜恨之深，可以想見。
胡漢民於一九三一年十月十四日被釋放後抵達上海，翌日馳電廣州非常會議委員，承認國民黨內“糾紛迭乘，政治舉措失當”，希望黨人“徹底覺悟，力圖團結”。再過一日，公開批評蔣介石的南京政府應付日帝侵略，只有“三無主義”，即“無辦法、無責任、無抵抗”。這樣下去，“則必至國亡種滅而後已”。(參閱胡漢民《亡國之三無主義》，載《胡漢民先生政論選編》)蔣介石不抗日足以亡國，所以他要抗日反蔣以救國。他不會再與蔣合作，可見之於十月三十日的《致粵中央電》，他明言不會與汪精衛入京任職，而力言“迫某(蔣)辭職，並促制度上限制個人權力，打破獨裁”！
胡氏“打破獨裁”的立場，自然更堅粵方要求蔣介石下野的決心，胡於十二月五日與粵方非常會議選出的中委，聯名領銜通電，催蔣下野，解除兵柄。蔣果於十天之後，通電辭去國民政府主席、行政院長、陸海空軍總司令本兼各職。
蔣介石下野之後，寧粵合流，表面上出現各方合作，蔣汪胡攜手的形象。但事實上，胡漢民留居香港，拒絕入京。他對蔣之復出以及蔣汪合作，不僅厭惡，而且決心倒之。當時剛辭去行政院長的孫科，對於蔣汪的向日退縮政策甚表憂慮，曾於密電中告訴胡漢民，蔣曾責令十九路軍將領，不得“擅起戰端”，後來軍民奮戰，“乃表示抵抗，然仍令十九路軍將領只准抵抗，不必擴大”，認為“日方計劃摧毀長江一帶軍事勢力，結果南京中央必然崩潰”，所以建議在粵中另立政府。(電文全文可見於楊天石《尋求歷史的謎底》，頁五六八)胡漢民雖然沒有另立政府，但繼續積極活動倒蔣。他想統一西南各地實力派的力量，以與蔣汪南京政府抗衡，以抗日為號召，並藉此攻擊蔣汪的不抵抗政策。他還與華北的馮玉祥取得聯繫。馮主抗日甚力，對蔣之向日本委曲求全，甚表悲憤，也想聯絡西南倒蔣。(見張允榮一九三二年八月十八日《致展堂先生函》)此時馮已自徐州移居泰山，名為養病讀書，實與在山東的韓復榘有所密謀，與胡自亦一拍即合。胡於一九三二年五月五日覆函馮玉祥，有謂“過去四五年，只見有個人，而不見有黨”，“凡所措施，無不出於個人私意”，此個人即蔣介石也，暗示如果倒蔣，“必竭誠襄助”。(胡函原件藏哈佛大學東亞圖書館)胡與北方的張學良、韓復榘、閻錫山、孫殿英、石友三之間，也互通音問，設計如何抵禦氣焰方張的日寇，如何去除劫國的“獨裁之魁”蔣介石。(參閱楊天石《尋求歷史的謎底》，頁五七O)他還取得國民黨海外支部的支持，同情他抗日反蔣的立場。可見他發展“反蔣”關係，十分廣泛。事實上，他已著手組織新國民黨，強調紀律、團結與反蔣，活動範圍擴及江蘇、浙江、安徽、江西、湖南、湖北、四川七省。
南京政府的蔣汪合作，蔣主軍、汪主政，也不如表面上看來那樣和諧地分工合作。如周德偉所指出的，蔣仍遙控政治，“不脫軍閥素習”、“軍費佔歲入百分之八十以上，各省封疆大吏，則一仍其舊，汪氏無置喙餘地。”蔣“又推薦孔祥熙為中央銀行總裁，兼中國銀行董事長”，後“又推薦陳果夫為江蘇省政府主席，張靜江早已任浙江省主席”，“中央之黨務則有葉楚傖、陳果夫操縱，陳立夫尤橫，一意為蔣氏鷹犬，與汪立異”。(周德偉《餘之一生與國民黨點滴》手寫稿本第十六章)然則蔣汪合作其名，蔣氏一人獨裁其實，無論政、軍、黨、特都在他的手裡。
一九三三年年初，日軍突襲山海關，榆關失守，張學良決心抵抗，與胡漢民關係趨密。張曾告訴胡“不抵抗”的原委，故胡於回函中說：
兄前以不抵抗而喪失東北，茲又以不抵抗而喪失榆關。長此以往，國將不國。雖示負最終之責任者當別有人在，顧兄身當其任，究何以自解於國人？縱不為個人計，將不為數百萬人民之身家性命計耶？(原函藏哈佛大學東亞圖書館)
胡雖希望張學良結合華北將領，抗擊日帝，但是“別在”之人乃全國最高統帥蔣介石，仍一心想剿滅共黨，全無意緒抗日。日軍遂於三月四日侵佔承德，無可奈何的張學良惟有引咎辭職，黯然出洋。胡漢民針對此一局勢的對策是積極組織西南抗日聯軍，聯絡北方抗日將領，以便北上救援熱河，不過，其意不僅在抗日，而且還要倒蔣，可見之於另一封密函如下：
西南抗日軍隊出發，以賢初為總師之任，渠以抗日為倒蔣，如能師出武漢，北局有變，一切正可相機而動。(胡漢民致護黃、頌雲，原件藏哈佛燕京圖書館)
函中的賢初，乃十九路軍將領蔡廷鍇之字，淞滬停戰後被調往剿共，然仍不忘抗日，與胡漢民等結合，於一九三三年四月二日出任“西南抗日軍總指揮”。而此時全國各地抗日救國運動風起雲湧，馮玉祥於五月二十六日在張家口宣佈成立察哈爾民眾抗日同盟軍，但這個時候蔣介石仍然在江西剿共，並於五月三十一日授命何應欽簽訂喪權辱國的“塘沽協定”，實際上承認日軍侵佔長城以及山海關以北地區的合法化，並同意長城以南的察北與察東地區不予設防，直令華北門戶洞開。胡漢民聞之甚怒，即電馮玉祥曰：“請公立振義師，先就北平擒拿經手訂立妥協之何(應欽)、黃(膺白)，即行討蔣以抗日。”(胡漢民致煥公電，原件藏哈佛燕京圖書館)然而無論西南或華北，抗日討蔣的情緒雖高，但實力(軍力與財力)不夠。胡漢民的“北出長江、推倒國賊”的計劃固然夭折，馮玉祥的抗日同盟軍在蔣介石的壓迫與分化下宣佈解散，方振武、吉鴻昌的抗日討賊(蔣)軍也因孤立無援而失敗。但是胡漢民仍不肯放棄，至十月間仍在積極規劃如何“聲討獨夫，從事抗日”。(語見胡漢民致何子佩函，一九三三年十月十九日，原件藏哈佛燕京圖書館)
討蔣抗日雖是胡漢民夢寐以求的目標，但是主張討蔣抗日甚烈的中共，仍然是他想要消滅的敵人，敵人的敵人仍然不能成為朋友，反而與敵人蔣介石在反共上有共識。所以當“閩變”於一九三三年十一月發生時，由於更改國號、換旗、聯共，雖然目標就是討蔣抗日，胡漢民不能苟同合作，堅持討蔣與剿共雙管齊下，聲稱“獨裁賣國之南京軍權統治、叛黨聯共之福建統治，必同時清除之”(見胡漢民對時局宣言，一九三三年十二月十五日，載《胡漢民先生政論選編》)，勇氣雖然可嘉，但幾乎是不可能達成的任務。而此時蔣介石正分江西剿共之師，大舉入閩討逆，動用海陸空三軍，並親至建甌指揮鎮壓，十九路軍孤立無援，於一九三四年二月初宣告失敗，被蔣改編，部分殘軍則由陳濟棠改編為粵軍獨立第三旅。
胡漢民在一九三四年，仍然繼續聯絡各地將領，進行抗日反蔣活動，在軍事上雖然相繼失敗、乏善可陳，然而在政治和黨務上，實已將西南獨立於南京政府之外，頗有效地抵制了蔣介石，如蔣於一九三二年三月在洛陽召開國民黨四屆二中全會，胡斷然拒絕參加。一年之後，蔣提出召開臨時全國代表大會，也遭胡等通電反對而被迫取消。原定於一九三三年十一月召開的國民黨第五次全國代表大會，亦被迫延期至翌年十一月十二日舉行。胡漢民仍發表有電，與蔣汪所定議題，針鋒相對，唱對臺戲，並譴責南京政府“黨同伐異，自為派系，鉗制同志，變本加厲”(語見有電，載《三民主義月刊》第四卷第四期)，更揚言那只是軍權統治的五全大會，不是中國國民黨的五全大會(參閱胡漢民《為五全大會告同志書》，載《三民主義月刊》第四卷第四期)，甚至不惜另開代表大會，宣佈蔣介石、汪精衛等“叛黨、賣國罪狀，開除其黨籍”。(參閱胡漢民一九三四年九月二十五日致南洋英屬總支部整理委員會函以及一九三四年九月三十日致鄒魯等函)胡漢民如此強硬，倚老賣老，自令汪蔣十分頭痛，不得不加以“招安”，由王寵惠親自攜孔祥熙函南下，呼籲諒解，動之以情，並邀胡“早日命駕來京，主持一切”，卻被胡颳了一頓鬍子，說是不應求“私人間之諒解”，以延誤“國家之危機”，更進而把矛頭指向蔣介石：“南京政府之上，尚有一南昌之太上政府，彼以一軍事領袖，在行政上可以擅自發號施令，並擅自召集各級文官訓話，又可以組織藍衣黨，企圖以法西斯主義代替三民主義。”(《胡先生為寧粵合作對法報記者之談話》，載《三民主義月刊》第四卷第五期)這種指責不可謂不重，而又難以辯駁，所謂以三民主義相標榜，而行專制獨裁之實，尤其擊中蔣之要害。由於胡漢民的杯葛與譴責，五全大會就沒有開成，另於十二月十日召開四屆五中全會。
胡針對蔣之集權，亟力提倡均權共治，並得到西南實力派的支持。蔣介石為了爭取胡之諒解，於一九三四年二月三日與汪精衛擬訂了一項中央與地方如何均權的方案，且派王寵惠、孫科赴港協商。但是胡漢民知蔣並無誠意，託孫科帶回一函，言辭雖然客氣，仍拒蔣於千里之外，雅不欲入京合作：
自民二十年後，久闕音問。亮疇、哲生兩兄來，藉獲手書，甚感關注。弟三年養痾海隅，而時受風寒侵襲，血壓久治未低。聞尊體近日亦不能無小病，親以前精力稍遜，誠為兄繫念不已。國家大計，弟以為總理已垂示甚周，故數年來仍悉心體會而莫敢外。此次與亮、哲兩兄所談，亦唯此旨，即託其一一面達，其間亦非片楮所能盡也。(轉引楊天石《尋求歷史的謎底》，頁五九四)
一九三一年二月，胡遭蔣拘留，以致“久闕音問”，不忘提醒蔣其所作所為。函中未及國事，只說“國家大計”、“總理已垂示甚周”。觀其寫此函一週後，在其主持的《三民主義月刊》上為文，指蔣“剽竊總理之均權主張，希望在軍權統治之下實行其均權制度”(見該刊第四卷第六期《軍權與均權》一文)，則“總理垂示甚周”云云，其責備之意，盡在不言之中。然而蔣於一九三五年三月十一日馳函胡漢民，仍以“謀團結”、“挽危局”為說。此後日本圖華愈急，日方派孫中山老友萱野長知往說胡漢民，鼓動“西南獨立”，並請胡“進就總統之職”，以與“華北自治”相配合。胡漢民當然不能為了反蔣而去做漢奸，故當土肥原於一九三五年三月二日親赴香港晤胡，企圖挑動兩廣出兵倒蔣，被胡拒絕。(參閱胡漢民《論所謂中日提攜》，載《三民主義月刊》第五卷第三期)
一時之間，胡漢民成為日方與蔣方兩面拉攏的人物，但他堅持抗日反蔣的立場。因為抗日救國，他不可能聯日反蔣；也因為抗日救國，他不可能與不肯抗戰的蔣介石合作。不過胡氏心目中的蔣介石問題，不僅是對日政策，而且是軍事獨裁。所以他雖於六月間到歐洲去療養，仍然反對蔣汪合作的南京政府，不願與他們團結，也拒絕參加一九三五年十一月一日在南京召開的國民黨四屆六中全會。開會的第一天，抗日愛國的孫鳳鳴，曾任十九路軍排長，以晨光通訊社外勤記者身份混入，原想刺殺不抗日的蔣介石，蔣未出來照相，只好退而求其次，向汪精衛開了三槍。汪不僅代蔣挨槍，而且因傷讓位，使握有軍權的蔣介石又完全控制黨政大權。為了爭取胡漢民與其他粵方中委的團結，參加五全大會，蔣介石儘量在口頭上滿足胡等要求。當五屆一中於一九三五年十二月七日在南京召開時，胡雖然身在歐洲，仍被選為國民黨中央常務委員會主席，顯然是蔣介石的意旨，表示願胡負責黨務。胡於一九三六年年初返國時，蔣又命魏道明先至新加坡迎接，並附函“務請即日蒞臨京中，共濟時艱”，不過胡對蔣之疑慮猶存，抵廣州後繼續批評南京國府，只是在言論上似乎已從打倒蔣介石的政府，轉變為促其覺悟與反省，以團結全國抗戰的力量。胡漢民於同年五月十二日因腦溢血逝世於廣州，終未入京與蔣介石再度合作。蔣關了他七個多月，他討蔣五十多個月，口誅筆伐，沒完沒了，豈蔣始料所及哉？
蔣介石的補救辦法是儘量在胡漢民身上下工夫，如果胡能入京，重新合作，以胡在西南物望之隆、國民黨內地位之重，至少可以結束兩廣半獨立狀態，奈胡銜恨甚深，遲遲其行，以至於突然病故。然而蔣要解決西南，並不就此罷手，遂導致一九三六年六月一日的所謂“兩廣異動”事件。
當胡漢民積極從事討蔣抗日活動時，廣東的“南天王”陳濟棠頗感猶豫躊躇，不願出兵。以其治理粵省之勤，休養生息，固不欲做孤注一擲，然據《李宗仁回憶錄》所說，南天王不願意為胡漢民抬轎子，令胡獨霸西南，似亦言之成理。然而說胡死之後，陳便有野心，未免言過其實。陳知蔣必不容西南在其掌握之外，故於胡死後即派乃兄維周面蔣察言觀色，並刺探情報，及知蔣有離間粵桂，各個擊破之意，頓生“唇亡齒寒”之懼，以至於產生“坐而待亡，孰與伐之”的想法，遂有南天王與廣西李、白聯手異動之舉。
此一異動，有其技巧，只稱抗日，不提討蔣，北上的部隊稱為“抗日救國軍”。純為抗戰，蔣介石自不便公然征伐抗日軍，阻擋抗戰，但雖緩不“攻城”，卻以攻心為上，一展其分化離間、金錢收買的故伎。七月之初，粵方飛機投蔣，陳濟棠手下大將餘漢謀通電擁蔣。類此陣前起義，豈是偶然？餘漢謀之拆陳濟棠的臺，就像當年陳濟棠拆李濟深的臺，都是蔣介石的地下作業，戴笠那一幫軍統人馬不是白吃飯的。至於粵機北飛，豈是棄暗投明？飛向黃金也。
陳濟棠畢竟因而狼狽奔港，廣西李、白雖尚能保住廣西一隅實力，但勢孤力單，也只好於八月間擁戴蔣之中央。胡漢民死後不到三個月，不血刃而西南反蔣勢力瓦解，蔣介石又贏得一回合的國民黨內鬥，得以拖延抗日，更加集中精力去剿共。