พันตรี ควง อภัยวงศ์ เกิดเมื่อวันเสาร์ที่ 17 พฤษภาคม 2445 ที่เมืองพระตะบอง (ขณะนั้นพระตะบองยังเป็นจังหวัดหนึ่งในมณฑลบูรพาของไทย) เป็นบุตรเจ้าพระยาอภัยภูเบศร์ (ชุ่ม อภัยวงศ์) กับคุณหญิงรอด อภัยวงศ์

หลังจาก พ.ศ. 2450 ไทยต้องยกมณฑลบูรพา เสียมราฐ และพระตระบองให้แก่ประเทศฝรั่งเศส ครอบครัวเจ้าพระยาอภัยภูเบศร์จึงย้ายมาตั้งหลักแหล่งที่ปราจีนบุรี

พันตรีควง อภัยวงศ์เริ่มเรียนหนังสือชั้นประถมต้นที่โรงเรียนอภัยพิทบาตร จังหวัดปราจีนบุรี และโรงเรียนวัดเทพศิรินทร์ และเรียนชั้นประถมปลายจนถึงมัธยมที่โรงเรียนอัสสัมชัญ หลังจากนั้นสำเร็จการศึกษาระดับปริญญาตรีสาขาวิศวกรรมโยธา จาก Ecole Centrale de Lyon ประเทศฝรั่งเศส เมื่อ พ.ศ. 2470 ในระหว่างที่ศึกษาอยู่ ณ ประเทศฝรั่งเศสได้คบค้าสมาคมกับนักศึกษาไทยที่ต่อมามีบทบาทสำคัญในประวัติศาสตร์การเมืองการปกครองหลายคน เมื่อกลับประเทศไทยได้เริ่มทำงานที่กรมไปรษณีย์โทรเลขจนกระทั่งได้เป็นอธิบดีกรมไปรษณีย์โทรเลขเมื่อ พ.ศ. 2478 มีบรรดาศักดิ์เป็นหลวงโกวิทอภัยวงศ์ก่อนจะกราบถวายบังคมลาออกจากบรรดาศักดิ์เมื่อ พ.ศ. 2484 และออกมาเป็นนักการเมืองเต็มตัวในเวลาต่อมา

พันตรีควง อภัยวงศ์เป็นสมาชิกก่อตั้งพรรคประชาธิปัตย์ และเป็นนักการเมืองที่มีประวัติการทำงานโดดเด่นมากที่สุดคนหนึ่งทั้งเมื่อเป็นรัฐบาลและฝ่ายค้าน

พันตรีควง อภัยวงศ์ เคยเป็นนายกรัฐมนตรีถึง 4 สมัย แม้ว่าจะดำรงตำแหน่งในระยะเวลาอันสั้นแต่ก็เป็นช่วงที่บ้านเมืองอยู่ในยามคับขันทุกครั้ง เช่น ในช่วงสงครามโลกครั้งที่ 2 เป็นต้น นอกจากนั้นยังได้ดำรงตำแหน่งรัฐมนตรีว่าการกระทรวงต่าง ๆ อีกหลายวาระรวมทั้งเป็นรัฐมนตรีว่าการกระทรวงเกษตราธิการระหว่างวันที่ 11 - 22 พฤศจิกายน 2490 ด้วยเหตุนี้ พันตรีควง อภัยวงศ์ จึงปรากฏนามในฐานะนายกสภามหาวิทยาลัยเกษตรศาสตร์อีกท่านหนึ่ง

พันตรีควง อภัยวงศ์ สมรสกับคุณหญิงเลขา อภัยวงศ์ มีบุตร 3 คน คือ นายดิลก อภัยวงศ์ นายคทา อภัยวงศ์ และ เด็กหญิงคลอ อภัยวงศ์

พันตรีควง อภัยวงศ์ ถึงแก่อสัญกรรมเมื่อวันศุกร์ที่ 15 มีนาคม 2511 อายุ 65 ปี 10 เดือน