Cevdet Yılmaz, 1967 yılında Bingöl’de dünyaya geldi. ODTÜ Kamu Yönetimi Bölümünü birincilikle bitirdi. Yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümünde, doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde tamamladı.
Başbakanlık DPT Müsteşarlığı AB ile İlişkiler Genel Müdürlüğü görevini yürüttü. Ulusal Ajans, ATAUM ve Sümer Halı’da Yönetim Kurulu üyeliklerinde bulundu.
23, 24, 26 ve 27. Dönemde Bingöl, 25. Dönemde Diyarbakır Milletvekili seçildi. Parlamentolar arası Birlik (PAB) Türk Grubu Başkanlığı yaptı.
60. Hükûmette Devlet Bakanı; 61, 62 ve 64. Hükûmetlerde Kalkınma Bakanı, 63. Hükûmette Başbakan Yardımcısı olarak görev aldı. AK Parti MKYK Üyesi, Tanıtım ve Medya, Dış İlişkiler ve Ekonomi İşlerinden Sorumlu Genel Başkan Yardımcısı oldu. Kasım 2020-Haziran 2023 tarihleri arasında TBMM Plan ve Bütçe Komisyonu Başkanlığı görevini sürdürdü.
3 Haziran 2023 tarihi itibariyle Cumhurbaşkanı Yardımcısı olarak görev yapmaktadır.
Çok iyi düzeyde İngilizce bilen Yılmaz, evli ve 2 çocuk babasıdır.