Olle Löfgren, Liberalerna