انتقال إمرة الشام من خالد إلى أبي عبيدة في الدولة العمرية وذلك بعد وقعة اليرموك وصيرورة الإمرة بالشام إلى أبي عبيدة فكان أبو عبيدة أول من سمي أمير الأمراء . فلما ولي عمر كان أول ما تكلم به أن عزل خالدا ، وقال : لا يلي لي عملا أبدا . وقد أمر عمر على الجيوش أبا عبيدة .

وذكر سلمة ، عن محمد بن إسحاق ، أن عمر إنما عزل خالدا لكلام بلغه عنه ، ولما كان من أمر مالك بن نويرة ، وما كان يعتمده في حربه ، وكتب عمر إلى أبي عبيدة : إن أكذب خالد نفسه فهو أمير على ما كان عليه ، وإن لم يكذب نفسه فهو معزول ، فانزع عمامته عن رأسه وقاسمه ماله نصفين . فلما قال أبو عبيدة ذلك لخالد قال له خالد : أمهلني حتى أستشير أختي ، فذهب إلى أخته فاطمة ، وكانت تحت الحارث بن هشام ، فاستشارها في ذلك فقالت له : إن عمر لا يحبك أبدا ، وإنه سيعزلك وإن أكذبت نفسك . فقال لها : صدقت والله . فقاسمه أبو عبيدة حتى أخذ إحدى نعليه وترك له الآخر ، وخالد يقول : سمعا وطاعة لأمير المؤمنين .

ثم قدم خالد على عمر بالمدينة . وقيل : بل هو أقام بالشام مع المسلمين . وهو أصح . وصية عمر لعماله وتعاهده إياهم وصيته لعماله وتعاهده إياهم روى ابن جرير ، عن صالح بن كيسان أنه قال : كان أول كتاب كتبه عمر إلى أبي عبيدة حين ولاه وعزل خالدا ، أن قال : وأوصيك بتقوى الله الذي يبقى ويفنى ما سواه ، الذي هدانا من الضلالة ، وأخرجنا من الظلمات إلى النور ، وقد استعملتك على جند خالد بن الوليد ، فقم بأمرهم الذي يحق عليك ، لا تقدم المسلمين إلى هلكة رجاء غنيمة ، ولا تنزلهم منزلا قبل أن تستريده لهم ، وتعلم كيف مأتاه ، ولا تبعث سرية إلا في كثف من الناس ، وإياك وإلقاء المسلمين في الهلكة ، وقد أبلاك الله بي وأبلاني بك ، فغض بصرك عن الدنيا ، وأله قلبك عنها ، وإياك أن تهلكك كما أهلكت من كان قبلك ، فقد رأيت مصارعهم . وأمرهم بالمسير إلى دمشق ، وذلك بعدما بلغه الخبر بفتح اليرموك وجاءته به البشارة ، وحمل الخمس إليه .

وقد ذكر ابن إسحاق أن الصحابة قاتلوا بعد اليرموك بأجنادين ، ثم بفحل من أرض الغور قريبا من بيسان بمكان يقال له : الردغة . سمي بذلك لكثرة ما لقوا من الأوحال فيها ، ثم لما فرت الروم من هذه الوقعة ألجأوهم إلى دمشق ، فقصدوهم فيها فأغلقوها عليهم ، وأحاط بها الصحابة . قال : وحينئذ جاءت الإمارة لأبي عبيدة من جهة عمر ، وعزل خالد . وهذا الذي ذكره ابن إسحاق من مجيء الإمارة لأبي عبيدة في حصار دمشق هو المشهور .