Возвращая вас в те далекие времена, когда наши предки жили в пещерах большими групповыми семьями, можна сказать, что у нескольких мужчин были общие женщины, и наоборот - у женщин мужчины. Детей воспитывали совместно. Из этого можно сделать вывод, что полигамны были равно как мужчины, так и женщины.
Однако эволюция социума внесла свои коррективы - со временем только богатые мужчины могли содержать несколько (и даже несколько десятков) женщин, что с точки зрения природы, тоже можно считать правильным - ведь они могли обеспечить все свое потомство едой, воспитанием, жильем.
Нынешние же условия диктуют равность мужчины и женщины в социуме. Больше не надо убивать мамонта - многие женщины зарабатывают наравне с мужчиной, что тоже способствует установлению равного отношения к обоим полам.

Касательно количества сперматозоидов, что может послужить вашим доводом, скажу что такое их количество нужно всего лишь для естественного отбора лучшего среди них. И это количество вовсе не указывает на то, что все эти сперматозоиды могут каждый по отдельности оплодотворить по женщине.
Условием природы заложены семейные отношения между людьми, то есть люди воспитывают свое потомство, что также характерно для всех млекопитающих. А физически мужчина просто не сможет позаботиться о всем том потомстве, которое теоретически может воспроизвести на свет.