W 2002 roku sąd w Jordanii skazał go zaocznie na karę śmierci za przygotowywanie ataków na cele amerykańskie i izraelskie w tym kraju. W marcu tego roku inny sąd jordański skazał Zarkawiego zaocznie na 15 lat więzienia za planowanie zamachu na ambasadę Jordanii w Bagdadzie.
Ugrupowanie 39-letniego Zarkawiego, za którego głowę Amerykanie wyznaczyli nagrodę w wysokości 25 mln dolarów, od czasu upadku reżimu Saddama Husajna w Iraku w kwietniu 2003 roku dokonało wielu zamachów i zabójstw.