Начал работу в НКВД в 1938 году. В 1943 году получил звание комиссара госбезопасности. Возглавлял министерство государственной безопасности Узбекской ССР. В 1946 назначен начальником Второго главного управления МГБ СССР (управление контрразведки). С декабря 1950 года – заместитель министра государственной безопасности СССР.
29 октября 1951 года был арестован по обвинению в участии в так называемом "сионистском заговоре". Был подвергнут допросам и истязаниям в МГБ, но признательных показаний не дал. В тюрьме Питовранов создал план реорганизации разведывательно-контрразведывательной работы, адресованный лично Сталину. Он предложил широко использовать в борьбе с "еврейскими националистами" метод провокаций и создать по всей стране мнимые антисоветские сионистские организации. Ещё до смерти Сталина обвинения с Питовранова были сняты, и он возглавил Управление по разведке за границей ГРУ МГБ СССР. В 1962–1966 годах был начальником Высшей школы КГБ СССР. В феврале 1966 года вышел в действующий резерв КГБ и был избран заместителем председателя Президиума Торгово-промышленной палаты СССР и возглавлял ее до 1988 года.