Просто он живёт в обществе, в котором интеллигенция определяется не только основными "гордыми" признаками, но и традиционной принадлежностью к мальчикам для битья, этим, которые "а ещё в шляпе". Понятно, что в таком мире отступничество воспринимается острее.