Josef Jařab se stal prvním svobodně zvoleným rektorem Univerzity Palackého. Studenti ho navrhli a senát jednohlasně souhlasil. Zasloužil se o rozšíření a vylepšení jejího zázemí. Olomoucká univerzita se pod jeho vedením stala první vysokou školou v tehdejším Československu, která v květnu 1990 udělila čestný doktorát filozofie bývalému prezidentovi Václavu Havlovi. Do Olomouce za ním dojížděla řada osobností jako například novinář a publicista Pavel Tigrid nebo básník Allen Ginsberg. Rektorem olomoucké univerzity byl sedm let a poté se stal rektorem Středoevropské univerzity. Jařab působil také v politice, v roce 1996 byl senátorem za Olomouc a v roce 2000 se stal senátorem za Opavu.
Své vzpomínky na rektorská léta, kdy stál v čele Univerzity popsal v roce 2018 v knize Rektorská rozpomínání, která se dočkala vydání i jako audiokniha. V roce 2019 o něm byl natočen dokument Homo academicus, který byl natočen v koprodukci s Českou televizí.