В 1996 году в Губкине была создана команда «Кристалл», которая в 2001 году была переименована в ФК «Губкин». Коллектив выступал в чемпионате Белгородской области.
В 2003 году «Губкин» занял второе место в Кубке СНГ среди горнорудных предприятий.
Годом позже футбольная дружина города Губкина дебютировала в Первенстве России среди коллективов физической культуры (зона «Черноземье») и заняла четвёртое место.
В сезоне 2005 года ФК «Губкин» под руководством Олега Евсюкова, выступая в той же зоне, становится серебряным призёром, уступив лишь одно очко воронежскому «Динамо». В этом же году футболисты Губкина завоевали Кубок России среди любительских команд, переиграв в финале калининградскую «Балтику—2» со счётом 2:1.
По итогам выступления в 2005 году ФК «Губкин» получил профессиональный статус и право участвовать на следующий год в соревнованиях первенства России по футболу среди команд второго дивизиона.
Дебют для губкинцев во второй лиге оказался успешным — восьмое место в зоне «Центр». Команда стартовала не слишком удачно, но постепенно выровняла игру. В августе Олега Евсюкова на тренерском посту сменил Вадим Хафизов, который и продолжил готовить команду к следующему сезону. В 2007 году команда долгое время находилась в нижней части турнирной таблицы, и в июле Хафизов был отправлен в отставку, а исполняющим обязанности главного тренера стал Владимир Пономарёв, сумевший настроить коллектив на финишный рывок, благодаря которому «Губкин» в итоге поднялся на пятое место в зоне «Центр».
В 2008 году главным тренером был назначен Фёдор Щербаченко, чья работа, вкупе с грамотной трансферной политикой немедленно принесла свои плоды: команда стабильно держалась в верхней половине таблицы, и заняла в конце сезона четвёртое место, уступив бронзу «Луховицам» лишь по результатам личных встреч и решив в заключительном туре судьбу победителя зоны «Центр» в прользу липецкого «Металлурга», обыграв в гостях курский «Авангард» 2:1.
В начале 2009 года Щербаченко, имевший договорённость с президентом клуба и главой города Анатолием Кретовым о возможности покинуть клуб в случае более выгодного предложения, уехал в Саранск, возглавив местную «Мордовию» и пригласил в свой новый клуб несколько игроков основного состава. Новым наставником «Губкина» стал Сергей Савченков, известный по работе в Воронеже и Белгороде.
