Для включения менеджера в первоначальный список кандидатов было необходимо, чтобы возглавляемая им компания являлась одной из крупнейших (входила в квоту) по объему производства или оказания услуг. Однако это условие не является достаточным, поскольку еще не гарантирует учета всех значимых фигур (например, менеджер может руководить не предприятием, а холдингом или быть не гендиректором, а председателем совета директоров, но реально являться первым лицом компании). В качестве индикатора общественного интереса к работе того или иного менеджера использовался индекс цитируемости менеджера в российских печатных СМИ. Кроме того, при выборе кандидатов использовался и ряд дополнительных формальных ограничений. В частности, предприятие, возглавляемое кандидатом, не должно находиться в состоянии ликвидации или иметь задолженности по зарплате в установленных пределах. Особо стоит отметить, что места работы и должности менеджеров фиксировались по состоянию на конец II квартала 2001 года, а более поздние данные использовались только в тех случаях, когда менеджеры изменяли место работы в рамках холдинга (объединения). В целом применялся такой принцип: если руководитель компании проработал в должности восемь и более месяцев 2001 года, он включался в рейтинг, даже если потом сменил место работы.
Кто оценивал. Для участия в составлении рейтинга было приглашено 400 экспертов — представителей профильных государственных учреждений, региональных администраций, некоммерческих региональных и деловых ассоциаций, ведущих инвестиционных компаний и банков, консалтинговых фирм, рейтинговых и информационных агентств, экономических и деловых средств массовой информации. Сфера отраслевой компетенции экспертов определялась в ходе их предварительного опроса. Приглашенные эксперты имеют высшее профессиональное образование и работают в своей области не менее трех лет. Кроме того, особо отслеживалась аффилированность экспертов и кандидатов с целью минимизации возможного давления на экспертов со стороны кандидатов и иных заинтересованных лиц.
Как оценивали. После окончательного формирования списков кандидатов и экспертов и обработки итогов первичного опроса менеджеров (в ходе которого они сами определяли перечень вопросов по каждому параметру для экспертного опроса) экспертам были разосланы анкеты опроса. Эксперты выставили каждому кандидату по 42 оценки для определения уровня его профессионализма; достоверность оценок определялась особо — по ответу на контрольный вопрос.
Профессионализм менеджеров оценивался по семи критериям эффективности: личностной (уровень развития личных качеств менеджера), финансовой (степень использования предприятием, возглавляемым менеджером, рынков капитала, активность в области реструктуризации и снижения стоимости долга, уровень зависимости от зачетных или бартерных схем, степень валютной и временной сбалансированности активов и пассивов, эффективность управления средствами, динамика и соотношение кредиторской и дебиторской задолженности), коммерческой (способность менеджера обеспечить заданную норму доходности проектов, оценка динамики объемов продаж, изменения доли рынка, издержек производства, оптимальности структуры товарных потоков), инновационной (скорость и качество инноваций, уровень организации НИОКР, темпы обновления производственных мощностей и продуктового ряда, способность обеспечить заданную норму доходности инновационных проектов, адекватно оценивать риски и снижать их влияние на инвестиционный процесс), коммуникативной (способность защищать интересы компании, отрасли и региона в государственных структурах, организовывать взаимодействие с контрагентами и клиентами, формировать благоприятный имидж компании, в том числе с помощью средств массовой информации), корпоративной (прозрачность деятельности компании, уровень защиты прав акционеров, способность менеджера эффективно осуществлять реструктуризацию предприятия и процедуру банкротства, наличие ограничений на покупку и владение акциями) и социальной (квалификация кадров, система их подготовки и переподготовки, условия труда и охрана здоровья сотрудников, объем и регулярность социальных выплат, содержание и развитие социальной инфраструктуры, взаимодействие с органами власти по вопросам социального обеспечения, работа с профсоюзами, уровень пенсионного обеспечения работников компании, благотворительность).
Интегральная оценка кандидата рассчитывалась по формуле:
!!!!!!!ЗДЕСЬ ФОРМУЛА 1 (ВЗЯТЬ ИЗ "СФ"), где:
Xij — показатели по отдельным видам эффективности, рассчитанные как среднее арифметическое по всем оценкам блоков анкет экспертов, которые оценивали данного кандидата;
Bij — весовой коэффициент, отражающий личный вклад менеджера в достижение предприятием существующего уровня эффективности по каждому из показателей эффективности, рассчитываемый как среднее арифметическое по всем оценкам, которые дал каждый эксперт каждому кандидату и принимающий значения от нуля до пяти (в отношении показателя личной эффективности коэффициент Bij тождественно равен пяти);
Ai — весовой коэффициент показателей эффективности в интегральной оценке (при определении интегрального рейтинга расчетные значения округлялись до сотых и умножались на 100).
Значения весовых коэффициентов изначально принимались равными друг другу, однако впоследствии корректировались с использованием методов рангового корреляционного анализа. Возможность корректировки весов обеспечивалась включением в анкеты контрольного критерия общего уровня профессионализма.
Суммарный результат экспертных оценок был затем умножен на поправочный коэффициент, зависящий от объема производства или оказания услуг: для компаний с объемом производства более $1 млрд в год этот коэффициент составил 1,80 от базового, от $100 млн до $1 млрд — 1,25, от $50 млн до $100 млн — 1,00, от $10 млн до $50 млн — 0,75, менее $10 млн — 0,50. По результатам расчета показателей были составлены общий, отраслевой и региональный списки менеджеров (последние два списка опубликованы в приложении "Секрет фирмы" к журналу "Коммерсантъ-Деньги", который выйдет 19 декабря). Кроме того, было выделено четыре группы профессионализма — A, B, C, D, поскольку очевидно, что уровень профессионализма менеджеров, получивших примерно одинаковое количество баллов, различается несущественно. Участники рейтинга объединялись в группы по признаку относительной близости их оценок с использованием точных статистических методов. При этом границы между группами определялись таким образом, чтобы в максимальной степени устранить случайность или слабую обоснованность, которые привели бы к плохой интерпретируемости рейтинга.
Подробнее с методикой составления рейтинга можно познакомиться на сайте Ассоциации менеджеров (www.amr.ru).