В футбол попал в семилетнем возрасте благодаря своему другу, которого отец привёл на просмотр в «Спартак». Тренировался у Валентина Ивакина, а также у Георгия Ярцева. Начинал Сергей нападающим, однако постепенно переместился в оборону.

После первого же сбора с «молодёжкой» был вызван в основной состав, за который дебютировал 21 июля 2007 года в матче против «Зенита». В следующем сезоне закрепился в составе, а в октябре 2009 года забил свой первый гол в чемпионате России. Через год Сергей Паршивлюк впервые надел капитанскую повязку. Вскоре его начали преследовать травмы, и на протяжении трёх лет он лишь эпизодически появлялся на поле.

Полноценно вернулся в сезоне–2013/14 и в сентябре 2014-го дебютировал в сборной России в матче с командой Азербайджана. В начале сезона-2016/17 был переведён во вторую команду «Спартака» и вскоре перебрался в махачкалинский «Анжи».

Сергей быстро стал основным игроком команды, но клуб сменил владельца, главного тренера и вектор развития. В «Анжи» решили расстаться с рядом ведущих футболистов, в числе которых оказался и Сергей Паршивлюк.

Следующие два сезона провёл в «Ростове», сыграл за него 57 матчей и забил 3 гола. В июне 2019 года заключил контракт с московским «Динамо».