1931年，“九一八”事變后黨派他擔(dān)任東北反日總會的領(lǐng)導(dǎo)工作，后又派他擔(dān)任中共哈爾濱市委第一任書記、滿洲省委委員，不久又兼滿洲省委軍委代理書記。

1932年11月，以省委代表身份被派往南滿，整頓各縣黨組織、抗日游擊隊(duì)和義勇隊(duì)，組建中國工農(nóng)紅軍第三十二軍南滿游擊隊(duì)和第三十七軍海龍游擊隊(duì)，任政治委員，創(chuàng)建了以磐石紅石砬子為中心的游擊根據(jù)地。

1933年秋，根據(jù)中共中央關(guān)于在東北建立黨領(lǐng)導(dǎo)下的民族抗日統(tǒng)一戰(zhàn)線的指示，以南滿游擊隊(duì)和海龍游擊隊(duì)為基礎(chǔ)，成立東北人民革命軍第一軍獨(dú)立師，楊靖宇任師長兼政委。

1934年2月，東北人民革命軍第1軍獨(dú)立師聯(lián)合南滿16個(gè)抗日武裝部隊(duì)召開大會，成立東北抗日聯(lián)合軍總指揮部，楊靖宇當(dāng)選總指揮。同年11月，召開中共南滿第一次代表大會，成立南滿臨時(shí)特委，并正式建立東北人民革命軍第1軍，楊靖宇任軍長兼政委。1軍成立后，楊靖宇運(yùn)用機(jī)動靈活的戰(zhàn)術(shù)原則，領(lǐng)導(dǎo)部隊(duì)挫敗敵人的秋季“討伐”，迅速擴(kuò)大游擊區(qū)。中共六屆六中全會曾致電向以楊靖宇為代表的東北抗日武裝表示慰問，贊之為“冰天雪地里與敵周旋7年多的不怕困苦艱難奮斗之模范”。

1935年8月，中共滿洲省委決定，以黨領(lǐng)導(dǎo)的東北人民革命軍、抗日聯(lián)合軍和游擊隊(duì)為基礎(chǔ)，聯(lián)合其他抗日武裝成立東北抗日聯(lián)軍，楊靖宇任抗日聯(lián)軍第一軍軍長兼政委。1936年6月，抗日聯(lián)軍第一、二軍合編為抗日聯(lián)軍第一路軍，楊靖宇任總司令兼政委。

抗聯(lián)隊(duì)伍壯大后，活動在通化周圍及奉(天)(沈陽)吉(林)、安(東)(丹東)奉鐵路一帶的許多抗日隊(duì)伍都相繼加入抗聯(lián)1路軍的行列，在吉林東南部和遼東等廣大地區(qū)，給日寇以有力的打擊。日寇稱楊靖宇的部隊(duì)為“東邊道社會治安之癌”，稱抗聯(lián)活動地區(qū)為“癌腫地帶”。

1936年，日寇調(diào)來日軍奉天教導(dǎo)團(tuán)，由關(guān)東軍南滿“討伐”司令官三木少將指揮，漢奸“東邊道剿匪司令”邵本良配合，妄圖消滅我抗日聯(lián)軍。面對敵我力量懸殊，楊靖宇率領(lǐng)抗聯(lián)部隊(duì)采取巧妙迂回戰(zhàn)術(shù)，避開敵人鋒芒，誘敵深入，消耗敵軍力量。楊靖宇令戰(zhàn)士制造倉皇敗退假象，部隊(duì)18天行軍千余里，在梨樹子一帶設(shè)下伏兵，敵人中計(jì)進(jìn)入伏擊圈。楊靖宇一聲令下，打得敵人措手不及，經(jīng)過4個(gè)多小時(shí)激戰(zhàn)，殲滅了這股敵人。后來，楊靖宇率隊(duì)包圍邵本良所部，一舉殲滅了其主力部隊(duì)。

1937年，任東北抗日聯(lián)軍第一路軍總指揮兼政委，基本隊(duì)伍有六千余人，分布南滿一帶開展抗日斗爭。盧溝橋事變后，楊靖宇發(fā)動西征，經(jīng)常出擊日軍，支援關(guān)內(nèi)的斗爭。

1937年，“盧溝橋事變”爆發(fā)后，為配合全國抗戰(zhàn)，楊靖宇一面以抗聯(lián)第1路軍總司令部的名義發(fā)出《為響應(yīng)中日大戰(zhàn)告發(fā)東北同胞書》和《東北抗日聯(lián)軍第1路軍總司令部布告》，揭露日本帝國主義侵吞中國的野心，號召東北各族人民團(tuán)結(jié)一致，驅(qū)除日寇。同時(shí)，組織部隊(duì)在南滿的廣大地區(qū)積極開展抗日游擊戰(zhàn)，全力牽制日軍兵力，配合關(guān)內(nèi)抗戰(zhàn)。 [6]

1937年7月中旬，楊靖宇率1軍直屬部隊(duì)在西去聯(lián)絡(luò)第3師途中，襲擊鐵路線上的日軍列車，造成抗日聲勢，在離黃土崗不遠(yuǎn)處與日軍松原部隊(duì)遭遇，激戰(zhàn)6個(gè)多小時(shí)，給敵人以重創(chuàng)。黃土崗戰(zhàn)斗后，他率隊(duì)來到清源縣沙河子同3師會面。9月初，軍部在寬甸馬鹿溝襲擊了監(jiān)修道路的偽警察隊(duì)。之后，楊靖宇指揮軍直屬部隊(duì)等300多人，同時(shí)分別攻取了興京縣第五區(qū)馬架子和小堡兩個(gè)集團(tuán)部落。10月下旬，第1師等部隊(duì)奉命同楊靖宇率領(lǐng)的1軍軍部會合，于10月末打響了痛殲日軍水出守備隊(duì)的戰(zhàn)斗。同時(shí)，1路軍其他各部根據(jù)楊靖宇的指示，在興京、清原、寬甸、輯安、通化等地積極開展游擊戰(zhàn)，有力地打擊牽制了敵人。

1938年初，楊靖宇帶領(lǐng)軍直屬隊(duì)從桓仁北上到輯安縣老嶺山區(qū)開展游擊戰(zhàn)，發(fā)動了對通(化)輯(安)線鐵路老嶺隧道工程現(xiàn)場的攻襲戰(zhàn)。3月，奇襲老嶺隧道，使敵人的交通線陷入癱瘓。4月，指揮1軍教導(dǎo)團(tuán)巧襲太平溝警察所。6月，接連兩次襲擊通輯鐵路土口子隧道工程現(xiàn)場第11、12號老嶺河橋梁子等地，燒毀了偽警察所，炸毀了隧道、橋梁工程，消滅了工地上的日軍，解救了中國勞工。