1931年，“九一八”事變后黨派他擔(dān)任東北反日總會(huì)的領(lǐng)導(dǎo)工作，后又派他擔(dān)任中共哈爾濱市委第一任書(shū)記、滿洲省委委員，不久又兼滿洲省委軍委代理書(shū)記。

1932年11月，以省委代表身份被派往南滿，整頓各縣黨組織、抗日游擊隊(duì)和義勇隊(duì)，組建中國(guó)工農(nóng)紅軍第三十二軍南滿游擊隊(duì)和第三十七軍海龍游擊隊(duì)，任政治委員，創(chuàng)建了以磐石紅石砬子為中心的游擊根據(jù)地。

1933年秋，根據(jù)中共中央關(guān)于在東北建立黨領(lǐng)導(dǎo)下的民族抗日統(tǒng)一戰(zhàn)線的指示，以南滿游擊隊(duì)和海龍游擊隊(duì)為基礎(chǔ)，成立東北人民革命軍第一軍獨(dú)立師，楊靖宇任師長(zhǎng)兼政委。

1934年2月，東北人民革命軍第1軍獨(dú)立師聯(lián)合南滿16個(gè)抗日武裝部隊(duì)召開(kāi)大會(huì)，成立東北抗日聯(lián)合軍總指揮部，楊靖宇當(dāng)選總指揮。同年11月，召開(kāi)中共南滿第一次代表大會(huì)，成立南滿臨時(shí)特委，并正式建立東北人民革命軍第1軍，楊靖宇任軍長(zhǎng)兼政委。1軍成立后，楊靖宇運(yùn)用機(jī)動(dòng)靈活的戰(zhàn)術(shù)原則，領(lǐng)導(dǎo)部隊(duì)挫敗敵人的秋季“討伐”，迅速擴(kuò)大游擊區(qū)。中共六屆六中全會(huì)曾致電向以楊靖宇為代表的東北抗日武裝表示慰問(wèn)，贊之為“冰天雪地里與敵周旋7年多的不怕困苦艱難奮斗之模范”。

1935年8月，中共滿洲省委決定，以黨領(lǐng)導(dǎo)的東北人民革命軍、抗日聯(lián)合軍和游擊隊(duì)為基礎(chǔ)，聯(lián)合其他抗日武裝成立東北抗日聯(lián)軍，楊靖宇任抗日聯(lián)軍第一軍軍長(zhǎng)兼政委。1936年6月，抗日聯(lián)軍第一、二軍合編為抗日聯(lián)軍第一路軍，楊靖宇任總司令兼政委。

抗聯(lián)隊(duì)伍壯大后，活動(dòng)在通化周?chē)胺?天)(沈陽(yáng))吉(林)、安(東)(丹東)奉鐵路一帶的許多抗日隊(duì)伍都相繼加入抗聯(lián)1路軍的行列，在吉林東南部和遼東等廣大地區(qū)，給日寇以有力的打擊。日寇稱楊靖宇的部隊(duì)為“東邊道社會(huì)治安之癌”，稱抗聯(lián)活動(dòng)地區(qū)為“癌腫地帶”。

1936年，日寇調(diào)來(lái)日軍奉天教導(dǎo)團(tuán)，由關(guān)東軍南滿“討伐”司令官三木少將指揮，漢奸“東邊道剿匪司令”邵本良配合，妄圖消滅我抗日聯(lián)軍。面對(duì)敵我力量懸殊，楊靖宇率領(lǐng)抗聯(lián)部隊(duì)采取巧妙迂回戰(zhàn)術(shù)，避開(kāi)敵人鋒芒，誘敵深入，消耗敵軍力量。楊靖宇令戰(zhàn)士制造倉(cāng)皇敗退假象，部隊(duì)18天行軍千余里，在梨樹(shù)子一帶設(shè)下伏兵，敵人中計(jì)進(jìn)入伏擊圈。楊靖宇一聲令下，打得敵人措手不及，經(jīng)過(guò)4個(gè)多小時(shí)激戰(zhàn)，殲滅了這股敵人。后來(lái)，楊靖宇率隊(duì)包圍邵本良所部，一舉殲滅了其主力部隊(duì)。

1937年，任東北抗日聯(lián)軍第一路軍總指揮兼政委，基本隊(duì)伍有六千余人，分布南滿一帶開(kāi)展抗日斗爭(zhēng)。盧溝橋事變后，楊靖宇發(fā)動(dòng)西征，經(jīng)常出擊日軍，支援關(guān)內(nèi)的斗爭(zhēng)。

1937年，“盧溝橋事變”爆發(fā)后，為配合全國(guó)抗戰(zhàn)，楊靖宇一面以抗聯(lián)第1路軍總司令部的名義發(fā)出《為響應(yīng)中日大戰(zhàn)告發(fā)東北同胞書(shū)》和《東北抗日聯(lián)軍第1路軍總司令部布告》，揭露日本帝國(guó)主義侵吞中國(guó)的野心，號(hào)召東北各族人民團(tuán)結(jié)一致，驅(qū)除日寇。同時(shí)，組織部隊(duì)在南滿的廣大地區(qū)積極開(kāi)展抗日游擊戰(zhàn)，全力牽制日軍兵力，配合關(guān)內(nèi)抗戰(zhàn)。 [6]

1937年7月中旬，楊靖宇率1軍直屬部隊(duì)在西去聯(lián)絡(luò)第3師途中，襲擊鐵路線上的日軍列車(chē)，造成抗日聲勢(shì)，在離黃土崗不遠(yuǎn)處與日軍松原部隊(duì)遭遇，激戰(zhàn)6個(gè)多小時(shí)，給敵人以重創(chuàng)。黃土崗戰(zhàn)斗后，他率隊(duì)來(lái)到清源縣沙河子同3師會(huì)面。9月初，軍部在寬甸馬鹿溝襲擊了監(jiān)修道路的偽警察隊(duì)。之后，楊靖宇指揮軍直屬部隊(duì)等300多人，同時(shí)分別攻取了興京縣第五區(qū)馬架子和小堡兩個(gè)集團(tuán)部落。10月下旬，第1師等部隊(duì)奉命同楊靖宇率領(lǐng)的1軍軍部會(huì)合，于10月末打響了痛殲日軍水出守備隊(duì)的戰(zhàn)斗。同時(shí)，1路軍其他各部根據(jù)楊靖宇的指示，在興京、清原、寬甸、輯安、通化等地積極開(kāi)展游擊戰(zhàn)，有力地打擊牽制了敵人。

1938年初，楊靖宇帶領(lǐng)軍直屬隊(duì)從桓仁北上到輯安縣老嶺山區(qū)開(kāi)展游擊戰(zhàn)，發(fā)動(dòng)了對(duì)通(化)輯(安)線鐵路老嶺隧道工程現(xiàn)場(chǎng)的攻襲戰(zhàn)。3月，奇襲老嶺隧道，使敵人的交通線陷入癱瘓。4月，指揮1軍教導(dǎo)團(tuán)巧襲太平溝警察所。6月，接連兩次襲擊通輯鐵路土口子隧道工程現(xiàn)場(chǎng)第11、12號(hào)老嶺河橋梁子等地，燒毀了偽警察所，炸毀了隧道、橋梁工程，消滅了工地上的日軍，解救了中國(guó)勞工。