1931年，“九一八”事變后黨派他擔(dān)任東北反日總會(huì)的領(lǐng)導(dǎo)工作，后又派他擔(dān)任中共哈爾濱市委第一任書記、滿洲省委委員，不久又兼滿洲省委軍委代理書記。

1932年11月，以省委代表身份被派往南滿，整頓各縣黨組織、抗日游擊隊(duì)和義勇隊(duì)，組建中國工農(nóng)紅軍第三十二軍南滿游擊隊(duì)和第三十七軍海龍游擊隊(duì)，任政治委員，創(chuàng)建了以磐石紅石砬子為中心的游擊根據(jù)地。

1933年秋，根據(jù)中共中央關(guān)于在東北建立黨領(lǐng)導(dǎo)下的民族抗日統(tǒng)一戰(zhàn)線的指示，以南滿游擊隊(duì)和海龍游擊隊(duì)為基礎(chǔ)，成立東北人民革命軍第一軍獨(dú)立師，楊靖宇任師長兼政委。

1934年2月，東北人民革命軍第1軍獨(dú)立師聯(lián)合南滿16個(gè)抗日武裝部隊(duì)召開大會(huì)，成立東北抗日聯(lián)合軍總指揮部，楊靖宇當(dāng)選總指揮。同年11月，召開中共南滿第一次代表大會(huì)，成立南滿臨時(shí)特委，并正式建立東北人民革命軍第1軍，楊靖宇任軍長兼政委。1軍成立后，楊靖宇運(yùn)用機(jī)動(dòng)靈活的戰(zhàn)術(shù)原則，領(lǐng)導(dǎo)部隊(duì)挫敗敵人的秋季“討伐”，迅速擴(kuò)大游擊區(qū)。中共六屆六中全會(huì)曾致電向以楊靖宇為代表的東北抗日武裝表示慰問，贊之為“冰天雪地里與敵周旋7年多的不怕困苦艱難奮斗之模范”。

1935年8月，中共滿洲省委決定，以黨領(lǐng)導(dǎo)的東北人民革命軍、抗日聯(lián)合軍和游擊隊(duì)為基礎(chǔ)，聯(lián)合其他抗日武裝成立東北抗日聯(lián)軍，楊靖宇任抗日聯(lián)軍第一軍軍長兼政委。1936年6月，抗日聯(lián)軍第一、二軍合編為抗日聯(lián)軍第一路軍，楊靖宇任總司令兼政委。

抗聯(lián)隊(duì)伍壯大后，活動(dòng)在通化周圍及奉(天)(沈陽)吉(林)、安(東)(丹東)奉鐵路一帶的許多抗日隊(duì)伍都相繼加入抗聯(lián)1路軍的行列，在吉林東南部和遼東等廣大地區(qū)，給日寇以有力的打擊。日寇稱楊靖宇的部隊(duì)為“東邊道社會(huì)治安之癌”，稱抗聯(lián)活動(dòng)地區(qū)為“癌腫地帶”。

1936年，日寇調(diào)來日軍奉天教導(dǎo)團(tuán)，由關(guān)東軍南滿“討伐”司令官三木少將指揮，漢奸“東邊道剿匪司令”邵本良配合，妄圖消滅我抗日聯(lián)軍。面對敵我力量懸殊，楊靖宇率領(lǐng)抗聯(lián)部隊(duì)采取巧妙迂回戰(zhàn)術(shù)，避開敵人鋒芒，誘敵深入，消耗敵軍力量。楊靖宇令戰(zhàn)士制造倉皇敗退假象，部隊(duì)18天行軍千余里，在梨樹子一帶設(shè)下伏兵，敵人中計(jì)進(jìn)入伏擊圈。楊靖宇一聲令下，打得敵人措手不及，經(jīng)過4個(gè)多小時(shí)激戰(zhàn)，殲滅了這股敵人。后來，楊靖宇率隊(duì)包圍邵本良所部，一舉殲滅了其主力部隊(duì)。

1937年，任東北抗日聯(lián)軍第一路軍總指揮兼政委，基本隊(duì)伍有六千余人，分布南滿一帶開展抗日斗爭。盧溝橋事變后，楊靖宇發(fā)動(dòng)西征，經(jīng)常出擊日軍，支援關(guān)內(nèi)的斗爭。

1937年，“盧溝橋事變”爆發(fā)后，為配合全國抗戰(zhàn)，楊靖宇一面以抗聯(lián)第1路軍總司令部的名義發(fā)出《為響應(yīng)中日大戰(zhàn)告發(fā)東北同胞書》和《東北抗日聯(lián)軍第1路軍總司令部布告》，揭露日本帝國主義侵吞中國的野心，號召東北各族人民團(tuán)結(jié)一致，驅(qū)除日寇。同時(shí)，組織部隊(duì)在南滿的廣大地區(qū)積極開展抗日游擊戰(zhàn)，全力牽制日軍兵力，配合關(guān)內(nèi)抗戰(zhàn)。 [6]

1937年7月中旬，楊靖宇率1軍直屬部隊(duì)在西去聯(lián)絡(luò)第3師途中，襲擊鐵路線上的日軍列車，造成抗日聲勢，在離黃土崗不遠(yuǎn)處與日軍松原部隊(duì)遭遇，激戰(zhàn)6個(gè)多小時(shí)，給敵人以重創(chuàng)。黃土崗戰(zhàn)斗后，他率隊(duì)來到清源縣沙河子同3師會(huì)面。9月初，軍部在寬甸馬鹿溝襲擊了監(jiān)修道路的偽警察隊(duì)。之后，楊靖宇指揮軍直屬部隊(duì)等300多人，同時(shí)分別攻取了興京縣第五區(qū)馬架子和小堡兩個(gè)集團(tuán)部落。10月下旬，第1師等部隊(duì)奉命同楊靖宇率領(lǐng)的1軍軍部會(huì)合，于10月末打響了痛殲日軍水出守備隊(duì)的戰(zhàn)斗。同時(shí)，1路軍其他各部根據(jù)楊靖宇的指示，在興京、清原、寬甸、輯安、通化等地積極開展游擊戰(zhàn)，有力地打擊牽制了敵人。

1938年初，楊靖宇帶領(lǐng)軍直屬隊(duì)從桓仁北上到輯安縣老嶺山區(qū)開展游擊戰(zhàn)，發(fā)動(dòng)了對通(化)輯(安)線鐵路老嶺隧道工程現(xiàn)場的攻襲戰(zhàn)。3月，奇襲老嶺隧道，使敵人的交通線陷入癱瘓。4月，指揮1軍教導(dǎo)團(tuán)巧襲太平溝警察所。6月，接連兩次襲擊通輯鐵路土口子隧道工程現(xiàn)場第11、12號老嶺河橋梁子等地，燒毀了偽警察所，炸毀了隧道、橋梁工程，消滅了工地上的日軍，解救了中國勞工。