Кен Уоллер родился в 1942 году в городе Джефферсонвилль, штат Индиана, США. В 1965 году Кен он поступил в университет штата Кентукки, где начал играть в футбольной команде Tangerine Bowl. После службы на флоте и окончания высшей школы в Луисвилле Кен Уоллер переезжает в Канаду. В это время он профессионально занимается футболом и именно эти занятия и привели Уоллера в бодибилдинг, где он быстро добился значительных успехов.

Уоллер всегда выделялся своим изящным и уверенным стилем позирования. Он был первым в соревнованиях Мистер Интернэшнл в 1972 году и Мистер Юниверс в 1975 году, а также в Мистер Олимпия в 1976 году в категории +200 lb (свыше 90,7 кг).

Большую роль в карьере Кена Уоллера сыграло его участие в фильме "Качай железо", где он был изображен в роли злодея. Это сильно испортил репутацию Кена Уоллера. Позже участвуя в турнирах, он часто выходил на сцену под свист и возмущенные выкрики зрителей, принявших этот киновымысел за чистую монету. Возможно, это стало одной из причин, почему Кен Уоллер с тех пор не выиграл ни одного турнира, и в 1981 году перестал участвовать в соревнованиях по бодибилдингу.