彼時，隋将來護兒率領水軍，将從東萊入海，前往平壤城，部隊還未出發。楊玄感無法号令衆人，于是派家奴裝作使者，從東方來，謊稱來護兒因失軍期而造反。
楊玄感以此為借口進軍黎陽縣，關閉城門，大搜男夫。又送文書到周圍的州郡，以讨伐來護兒為名，讓他們發兵，到糧倉所在地相會。
貴族子弟李密與楊玄感交好，聞聽好友造反，他自然要來幫幫場子，遂自長安應召至軍，為楊玄感謀主。他為楊玄感獻上三策：北據幽州，斷天子楊廣後路，為上策；西入長安，控制潼關，為中策；就近攻洛陽，勝負難測，為下策。
很不幸，楊玄感不是個善斷的君主，他以下策為上計 ，将引兵從汲郡渡河，圍攻東都洛陽。
卻有麾下官員唐祎先行一步，率先跑到東都報告楊玄感謀反之事。東都主事之人越王楊侗、民部尚書樊子蓋很害怕，調兵防禦。修武縣百姓一起守住臨清關，楊玄感無法過河，于是楊玄感在汲郡南渡黃河，從亂者如市。
幾天後，楊玄感的大軍還是到達了洛陽城外，此時他的軍隊已經有了十幾萬人，樊子蓋命令河南贊治裴弘策抵抗，裴弘策戰敗。鏶、洛的父老鄉親們競相送牛送酒，慰勞楊玄感。
楊玄感頗為感動，對父老鄉親道：“我身為上柱國，家累巨萬金，至于富貴，無所求也。今者不顧破家滅族者，但為天下解倒懸之急，救黎元之命耳。”百姓十分感動，詣轅門請自效者，日有數千。
楊玄感骁勇力大，每次作戰，親自揮舞長矛，身先士卒，呼叫叱咤，衆敵莫不震駭。時人比作項羽。善于安撫、帶領部隊，士兵樂意為他拚死效力，戰無不勝。
一時間，洛陽危矣。
與此同時，遼東城的情況也不怎麼樣，好在得到了山西運來的糧草，又有了一戰之力，皇帝下令造布囊百餘萬個，裡面盛滿土，想要堆成一條寬30步、高與城齊的魚梁大道，使将士沿此道登城；又造八輪樓車，高出城牆，俯射城内。
不消說，又是一頓折騰，好在一切就緒，就在楊廣準備攻城之時，楊玄感造反，已至洛陽的消息傳來，他頓時驚懼，東都洛陽可是他廢了好大力氣修的，遼東城豈能相比，于是密召諸将，密令撤軍。隋軍留下的軍資、器械、攻具積如丘山，營壘、帳幕、案堵不動，皆棄之而去。
他好像有那個大病一樣。
一時間隋軍衆心洶懼，混亂的失去了部署劃分，諸道分散。高句麗守軍甚至疑其有詐，不敢出擊，第二天才外出，向四面遠方偵查，仍然懷疑隋軍假冒撤軍。
兩天後，高句麗出動數千士兵追擊，因為隋軍太多，所以不敢太靠近，經常距離八九十裡，快到遼水的時候，知道禦營都渡過了，才敢攻打後軍。隋朝後軍仍然有數萬人，高句麗跟随抄擊，最後的羸弱數千人被高句麗殺掠。
楊廣認為攘外必先安内，匆忙撤軍之後，诏令武贲郎将陳棱在黎陽進攻元務本，武衛将軍屈突通駐紮在河陽，左翊衛大将軍宇文述發兵繼進，右骁衛大将軍來護兒又來增援。諸将莫不從命。
這裡可以看出，此時楊廣的诏令此時還是很有用的。
楊玄感貿然起兵，看似所向披靡，其實舉步維艱。
楊玄感請計于前民部尚書李子雄，李子雄說：“屈突通曉習軍事，如一渡過黃河，那麼就勝敗難定了。不如分兵拒守黃河。屈突通過不了黃河，那麼，樊子蓋、衛玄就失去了援兵。”楊玄感認為可行，将分兵赴黃河拒防屈突通。
樊子蓋豈能令其如願，幾次進攻他的軍營，楊玄感不能前進。屈突通更是渡過黃河，在破陵駐軍。楊玄感分為兩支人馬，西面抵抗衛玄，東面抵抗屈突通。樊子蓋又出兵，屢次大戰，楊玄感軍以一敵三，頻頻敗北。
于是他隻能放棄洛陽，西去關中，宇文述等部隊跟在後面追擊。到了弘農宮，父老們攔着楊玄感說：“弘農宮兵力空虛，又有很多糧食，容易打下來。這樣，進可絕敵人的糧食，退可占取宜陽的地盤。”
楊玄感同意，留下攻弘農宮，打了三天，打不下來，後面的追兵卻已經追了上來。楊玄感往西到了阌鄉，上盤豆，布陣連綿五十裡，與官軍且戰且走，一天幾次戰敗。又在董杜原擺下戰陣，諸軍進攻，楊玄感大敗，獨與十幾個騎兵在林間逃跑，将奔上洛。
俄頃追兵至，玄感叱之，皆懼而返走。至葭蘆戍，玄感窘迫，獨與弟積善步行。自知不免，謂積善曰：“事敗矣。我不能受人戮辱，汝可殺我。”
積善抽刀斫殺之，因自刺，不死，為追兵所執，與玄感首俱送行在所，磔其屍于東都市三日，複脔而焚之。
一代枭雄楊玄感，有匹夫之勇而無萬乘之謀，起義不過月餘，便兵敗死去，實在令人可惜。
在此之前，農民起義已經如過江之鲫，但楊玄感是第一個公開起義反抗隋朝統治的世家貴族，意義又不一樣。
最氣憤的便是天子楊廣，早知道楊玄感的叛亂如此容易平定，他何必火急火燎放棄征遼，如今好了，遼東城又被高句麗守下來了，他的二次東征再次以失敗告終！
氣急敗壞之下，皇帝命大理卿鄭善果、禦史大夫裴蘊、刑部侍郎骨儀與留守樊子蓋追查楊玄感的黨羽。甚至道“玄感一呼而從者十萬，益知天下人不欲多，多即相聚為盜耳。不盡加誅，無以懲後。”
樊子蓋、裴蘊接到旨意，嚴刑峻法處之，殺了三萬多人，都籍沒其家，被冤殺者占了三分之二，流放了六千餘人。
不僅如此，楊玄感圍東都時，曾開倉赈濟百姓。凡是接受過赈濟糧食的百姓，也都被皇帝下令坑殺于都城之南。
百姓何辜？一飯而已！