В апреле 1931 года был создан при тресте «Караганда» учебно-производственный комбинат в составе горпромуча и горноугольного техникума с контингентом учащихся 122 человека. Открытие последнего решило вопрос о подготовке среднетехнических кадров для шахт Караганды. Долгое время техникум оставался единственным в Казахстане учебным заведением, готовившим специалистов для шахт.
Первые наборы проводились путем широкой организованной вербовки молодежи из числа учащихся, окончивших 5-7 классы семилетних школ. В 1932 году при техникуме был организован рабочий факультет, задачей которого являлась подготовка казахской молодежи, высшие учебные заведения страны.
Годы становления были, одними из самых трудных в истории техникума: не хватало учебно-материальной базы, помещений для проведения занятий; и постоянного состава преподавателей, что влияло на качество подготовки специалистов. Особую нужду испытывал техникум в преподавателях специальных технических дисциплин. Как правило, это были инженеры шахт и рудоуправлений, читавшие по совместительству лекции в техникуме.
Из-за отсутствия помещения техникум кочевал, размещаясь сначала на шахте имени Кирова, затем – в селе Большая Михайловка. Учащиеся занимались и одновременно строили общежития, учебные корпуса, помогали добывать уголь на шахтах.