บรรพบุรุษยุคแรกของช้างนั้นมีอายุประมาณ ๖๐ ล้านปีมาแล้ว มีชื่อว่า โมเออริเทอเรียม (Moeritherium) ซึ่งเป็นชื่อที่ตั้งตามสถานที่ที่ค้นพบ คือ ทะเลสาบโมเออริส (Moeris) ประเทศอียิปต์ โมเออริเทอเรียม ไม่ได้มีรูปร่างดังช้างในปัจจุบัน มันมีขนาดตัวเล็กกว่าช้างปัจจุบันมาก โดยมีขนาดประมาณสมเสร็จ ลำตัวยาวใหญ่ หางสั้น ไม่มีงวง และน่าจะดำรงชีวิตเช่นสัตว์ครึ่งบกครึ่งน้ำ คล้ายฮิปโปโปเตมัส อาศัยอยู่บริเวณทวีปแอฟริกาเหนือ ถึงแม้จะมีรูปร่างหน้าตาต่างกับช้างในปัจจุบันอย่างสิ้นเชิง แต่สิ่งที่ทำให้นักวิทยาศาสตร์รู้ว่ามันคือบรรพบุรุษของช้างอย่างแน่นอนก็คือกะโหลก กล่าวคือกะโหลกหัวมีโพรงอากาศเหมือนช้างรุ่นปัจจุบันและมีงาเล็ก ๆ ออกจากขากรรไกรล่าง นอกจากนี้ยังมีโครงสร้างอื่น ๆ อีกหลายประการที่มีลักษณะคล้ายช้าง

หลังจากมีโมเออริเทอเรียมเกิดขึ้น สัตว์ในสกุลช้างก็ได้ขยายพันธุ์เป็นสายพันธุ์ต่าง ๆ ซึ่งมีรูปร่างหน้าตาแตกต่างกันไป แม้จะมีรูปร่างหน้าตาแตกต่างกันออกไปบ้าง แต่ลักษณะสำคัญ ๆ เช่น กะโหลกและฟันยังคงมีอยู่ร่วมกัน ช้างโบราณบางสายพันธุ์มีงาถึงสองคู่ คือ งอกจากทั้งขากรรไกรบนและล่าง ช้างยุคแรกทั้งหมด หรือเกือบทั้งหมดมีถิ่นที่อยู่ในบริเวณทวีปแอฟริกาจนกระทั่งถึงต้นสมัยไมโอซีน (Miocene) หรือประมาณ ๒๖ ล้านปีก่อนลูกหลานของโมเออริเทอเรียมจึงมีการอพยพเคลื่อนย้ายไปยังดินแดนต่าง ๆ ทั่วโลกยกเว้นออสเตรเลียกับแอนตาร์ก

จากสมัยไมโอซีน ซึ่งมีช่วงเวลาตั้งแต่ ๒๖ จนถึง ๑๒ ล้านปีก่อน สัตว์จำพวกช้างก็ยังแตกหน่อแยกพันธุ์ออกไปอย่างไม่หยุดยั้ง แต่ทั้ง ๆ ที่จำนวนสายพันธุ่ของมันเคยมีอยู่นับร้อย ครั้นพอมาถึงรุ่งอรุณแห่งสมัยโฮโลซีน (Holocene) หรือเมื่อประมาณหนึ่งหมื่นปีก่อนลูกหลายของช้างเหล่านี้กลับเหลืออยู่แค่สองชนิด คือ ช้างแอฟริกาและช้างเอเชีย ซึ่งมีชื่อทางวิทยาศาสตร์ว่า Loxodonta africana และ Elephas

เคยมีเรื่องเล่ากันว่าในประเทศไทยนั้นเคยมีช้างแอฟริกาชนิดหนึ่งอาศัยอยู่ คือ ช้างแคระ (Pygmy elephant) หรือที่ชาวบ้านเรียกว่า “ช้างค่อม” หรือ “ช้างพรุ” ซึ่งมีขนาดตัวเท่าควาย คุณหมอบุญส่ง เลขะกุล นักธรรมชาติวิทยาชาวไทยเคยบันทึกไว้ในบทความว่าเมื่อประมาณ ๓๐–๕๐ ปีที่ผ่านมามีคนพบช้างค่อมขนาดเท่าควายอยู่แถบป่าพรุชายทะเลสาบสงขลา แต่คนเฒ่าคนแก่แถบทะเลสาบสงขลาบางท่านก็กล่าวว่าที่เห็นกันนั้นไม่ใช่ช้างค่อม หากแต่เป็นลูกช้าง ปัจจุบันจึงยังไม่มีข้อสรุปว่ามีช้างแคระอยู่ในประเทศไทยจริง ๆ หรือ