Анатолий Гулей является одним из ведущих банкиров Украины. Он имеет огромный опыт работы в банковской отрасли. С 1996 года Анатолий Гулей занимал руководящие посты в черновицких филиалах «Градобанка» и «Энергобанка». С 1999 по 2005 год работал начальником Черновицкого областного управления, заместителем главы правления, первым заместителем главы правления «Ощадбанка», заместителем главы правления – начальником главного управления «Ощадбанка» по Киеву и Киевской области. В 2005-2006 годах был заместителем главы правления ЗАО «Альфа-Банк» (член консорциума российской «Альфа-Групп»). В 2006-2007 годах занимал пост главы правления ООО «КБ «Актив-банк», который входит в корпорацию «Укрподшипник». С марта 2007 по апрель 2010 года Анатолий Гулей был председателем правления ОАО «Ощадбанк».