Спросите десять инженеров, есть ли у них production-опыт с LLM, — и девять ответят «да». Спросите, что ломалось в production, — и число резко упадёт. Именно в этом разрыве между заявленным и подтверждённым опытом — вся суть проблемы AI-найма сегодня, и именно на устранение этого разрыва направлен наш метод оценки.
Production-доказательства, а не блеск портфолио
Demo легко собрать и легко изобразить к нему энтузиазм. Система, которая обслуживала реальных пользователей, выдерживала реальный трафик и пережила реальный инцидент, — нет. Оценивая AI-инженера, мы спрашиваем про evaluation-пайплайны, компромиссы между latency и стоимостью и про то, что происходило с системой спустя месяцы после запуска, — а не про то, какие фреймворки перечислены в резюме.
- Говорит про evaluation-пайплайны и регрессии, а не только про промпты
- Называет цифры стоимости и latency без наводящего вопроса
- Есть истории провалов — и своя роль в них не спрятана
- Знает, что происходило с системой через месяцы после запуска
- Описывает работу с данными как большую часть работы — потому что так и было
Demo выдаёт себя само
Обратные сигналы работают так же надёжно. Кандидат, перечисляющий фреймворки без глубины ни в одном, не имеющий настоящего ответа на вопрос «что ломалось?», или сообщающий только метрики модели и никогда — метрики бизнеса, скорее всего никогда не эксплуатировал систему под реальным давлением. Мы считаем это дисквалифицирующим фактором, а не просто «жёлтым флагом».
Третье «почему?» по-прежнему работает
Отрепетированные ответы выдерживают один уточняющий вопрос. Три — почти никогда. В одном из недавних поисков LLM/NLP-инженера именно этот приём — спросить «почему», а потом ещё раз «почему» — отделил шортлист из пяти человек, которых мы бы реально наняли, от более чем сотни кандидатов, звучавших убедительно на бумаге.
Что это значит, если нанимаете вы
Если вы сами оцениваете AI-инженеров, самое быстрое улучшение — отказаться от чек-листа фреймворков и вместо этого попросить рассказать историю провала. Перечислить технологии может кто угодно. Рассказать, что пошло не так, как это обнаружили и что изменили после, может только тот, кто реально эксплуатировал систему.