Введение Современный рынок труда характеризуется резким ростом числа онлайн-откликов на вакансии и активным использованием цифровых платформ рекрутмента. По оценкам, около 70 % компаний уже применяют онлайн-платформы для найма, и 94 % работодателей планируют внедрять ИИ-технологии в подбор персонала [9]. В этих условиях автоматическая классификация резюме по профессиональным категория становится критически важной задачей для повышения эффективности работы HR-специалистов и систем отслеживания кандидатов.Тем не менее, автоматизированная обработка резюме сталкивается с рядом сложностей. Во-первых, доступность и качество обучающих данных ограничены из-за приватности информации соискателей и соблюдения нормативов компании, что затрудняет сбор больших датасетов резюме. Во-вторых, отсутствуют единые стандарты оформления: разные кандидаты по-разному структурируют резюме, и документы существенно различаются по формату, структуре и содержанию. Такая вариативность затрудняет унифицированный анализ и может приводить к смещениям и ошибкам алгоритмов при отнесении резюме к категориям.За последние годы предложено несколько подходов к автоматической классификации резюме. Ранние работы обычно ограничивались небольшими корпусами (несколько тысяч резюме с 5…25-ю классами) и применяли традиционные алгоритмы машинного обучения – наивный Байес, SVM, Random Forest и др. – как правило, на TF-IDF представлениях текста. Эти методы демонстрировали умеренную точность на многоклассовых задачах и недостаточную обобщающую способность. Например, в исследовании [11] на данных с Kaggle, Glassdoor и Indeed алгоритм Random Forest превзошёл SVM и байесовский классификатор, достигнув точности около 70 %.В работе [1] при классификации 962 резюме на 25 категорий наилучший результат показал линейный алгоритм SVM (точность ~96 %). Однако столь высокая точность обусловлена ограниченным масштабом и количеством классов. Более современные попытки стали применять методы глубокого обучения. Так, в работе [6] использовали сверточную нейросеть с TF-IDF признаками для классификации ~1000 резюме из LinkedIn по 27-ми профессиям. Точность модели достигла лишь около 68 %, при лучшем F1-мере ~0,65. Архитектуры на основе рекуррентных нейросетей также показали ограниченную эффективность: модель BiLSTM, обученная на ~2400 резюме (21 категория), достигла точности всего 72,4 % при классификации контента резюме.Прорыв в данной области наметился с появлением предобученных трансформерных моделей NLP и расширением обучающих выборок. Одной из ключевых проблем была нехватка данных, и исследователи начали прибегать к генерации синтетических резюме для увеличения обучающего множества. В исследовании [16] с помощью API OpenAI сгенерировали дополнительные резюме и, объединив их с реальными данными Indeed (в сумме ~6300 документов по 15 категориям), обучили классификатор на базе модели BERT, добившись точности около 92 %. Альтернативный подход – масштабирование реального датасета: в работе [7] собрали крупнейший на сегодня корпус «ResuméAtlas» из ~13 389 резюме (43 класса) и дообучили большие языковые модели (BERT, Gemini 2B), что позволило достичь Top-1 точности ~91…92 % и Top-5 ~97,5 %. Эти результаты существенно превосходят предшествующие методы, подтверждая, что качество данных и мощность модели напрямую влияют на эффективность классификации. Отмечается и тенденция к интеграции профессиональных онтологий: например, модель CareerBERT [14] формирует общее векторное пространство для резюме и вакансий на основе европейского классификатора ESCO, повышая точность соответствия кандидатов и позиций. Это подчёркивает ценность использования отраслевых таксономий профессий при автоматическом анализе резюме.Однако даже новейшие подходы имеют узкие места. Во-первых, универсальные предобученные модели могут недостаточно учитывать специфику текста резюме (отраслевой жаргон, сокращения, перечень навыков). Во-вторых, ограничения по длине входной последовательности затрудняют обработку длинных многостраничных резюме целиком. В-третьих, классы профессий часто несбалансированы по числу примеров, а некоторые категории частично пересекаются по смыслу, что усложняет классификацию.В настоящей работе предлагается модель, нацеленная на решение указанных проблем. Подход сочетает доменно-ориентированное предобучение языковой модели на корпусе резюме и ансамблевую архитектуру из нескольких трансформеров (включая модель с расширенным контекстом) для более полного учета содержания документа. Система классифицирует тексты резюме в соответствии с профессиональными классами, учитывая специфику профессии. Предлагаемая модель демонстрирует повышение точности по сравнению с рассмотренными методами, подтверждая эффективность сочетания специализированного предобучения и ансамблевого обучения для задачи классификации резюме. Материалы, модели, эксперименты и методы В качестве исходных данных в исследовании использован открытый корпус Resume Atlas ≈ 13 400 англоязычных резюме, размеченных по 43-м профессионально-технологическим категориям («Accountant», «Data Engineer» и др.). Корпус размещён на HuggingFace и распространяется под лицензией MIT Hugging Face. Оригинальная статья [7] демонстрирует, что классические BERT-подобные модели дают ~92 % Top-1 на сыром тексте резюме.В данной работе предложен ансамбль моделей, который позволяет улучшить качество классификации резюме за счет комплементарного сочетания DeBERTa-v3 [12], оптимальной для «уплотнённого» ключевого контекста и Longformer-large, модели, которая эффективно обрабатывает длинные последовательности, а также применение доменно-адаптивного предобучения. Примененная R-Drop-регуляризация [10] позволяет снижать корреляцию ошибок и повышает качество классификации.Эксперимент состоит из нескольких этапов: предобработка текстов, построение моделей, построение ансамбля и оценка.Предобработка. Первым этапом производится очистка и токенизация текста. Текст каждого резюме разбивается на предложения с помощью библиотеки NLTK.Второй этап предполагает отбор информативных предложений. Реализован собственный TfidfSentenceSelector, выбирающий 7 предложений с наибольшей суммой TF-IDF-весов, что снижает длину входной последовательности ~в 5 раз без потери ключевых знаний.TfidfSentenceSelector – это вспомогательный компонент пайплайна, отвечающий за быструю фильтрацию длинных резюме перед подачей их в базовую DeBERTa-модель с ограничением 512 токенов. На всём тренировочном корпусе строится матрица TF-IDF n-грамм (1…3). Для каждого предложения вычисляется суммарный вес: где t – термы предложения. Далее налагается штраф чтобы избежать выборов почти дублирующих фраз. Используется простой жадный-алгоритм: если косинусное сходство новой строкой и с любой уже выбранной v > 0,7, предложение штрафуется коэффициентом 0,5. Итоговый список сортируется по скору (уже c учётом штрафов) и берутся k = 7 лучших предложений, которые затем конкатенируются в фиксированную выжимку из полного резюме, в которую входят семь наиболее информативных предложений. (≈ 200…250 токенов).Третий этап предполагает стратифицированное разделение 70 / 10 / 20 (train/val/test), которое гарантирует одинаковое распределение стеков во всех подвыборках.Построение модели. При выборе моделей было несколько идей для критериев отбора: наличие разнотипных архитектур, чьи сильные стороны дополняют друг друга и дают максимум «диверсификации ошибок» при усреднении логитов и для возможности инференса обе модели должны помещаться на одной A100-80 GB и их возможно запускать параллельно.Таким образом были выбраны 2 модели: DeBERTa-v3-large (24 слоя, 304 M параметров) – базовый энкодер / классификатор Hugging Face и Longformer-large-4096 (24 сл.,149 M парам.) для обработки полного контекста до 4096 токенов и глобального внимания к названию резюме.Экспериментальный план состоит из нескольких шагов, которые отражены в табл. 1.Таблица 1Table 1Этапы экспериментального планаStages of the experimental planЭтап моделированияЦельПараметрыDAPTДоменно-адаптивное дообучение DeBERTa на корпусе резюме (Masked LM, 1 эпоха) для переноса терминологииlr 1e-4, seq 512, batch 32, A100 40 GBFine-tune + R-DropПовышение устойчивости и снижение overfit; два прямых прохода, минимизация двустороннего KL7 эпох, bs 2× grad-accum 8 (=16), α = 5,0seeds = [42, 1234, 2025]Longformer FTУчет длинных резюме без усечения5 эпох, seq 2048, bs 1Итоговый ансамбльУсреднение логитов 3 сидов DeBERTa + LongformerСреднее без весов Базово схема ансамбля представлена на рис. 1. Рис. 1. Схема предложенного ансамбля для классификации текстов резюмеFig. 1. The scheme of the proposed ensemble for the classification of resume texts Для оценки использованы Top-k (1/3/5/10), Accuracy, Precision/Recall/F1-macro – позволяют отразить качество как точечной, так и ранговой классификации и провести сравнение с исходными метриками исследования [7]. Результаты Весь программный код, скрипты запуска и готовые чекпойнты размещены в открытом репозитории. Все вычисления выполнены на NVIDIA A100-80 GB; полный цикл(DAPT → FT → ансамбль) занимает ≈ 4 ч, что сопоставимо с указанным в ноутбуке требованием (GPU ≥ 24 GB).Таблица 2Table 2Top-k accuracy и F1-macro на тест-сплите Résumé AtlasTop-k accuracy and F1-macro on the Résumé Atlas test splitМодельTop-1Top-3Top-5Top-10F1PrecisionRecallTF-IDF + SVM0,820,940,970,980,810,830,81FastText (wiki)0,500,720,810,900,410,470,45CareerBERT-base0,770,860,890,930,760,780,75CareerBERT-large0,780,870,900,930,780,790,78RoBERTa‑DA0,780,880,920,950,740,740,77ResumeAtlas0,910,960,970,980,900,920,91Наш ансамбль0,930,970,980,990,930,920,91 По результатам экспериментов делается вывод о том, что классические модели машинного обучения (TF-IDF + SVM) остаются качественным baseline (Top-1 = 0,82) для классификации текстов и опережают FastText, но обе классические модели заметно отстают от трансформеров.Модель CareerBERT без доменной доадаптации CareerBERT-base/large дает лишь ~0,78 Top-1. Это показывает, что универсальное предобучение на вакансиях недостаточно, если модель не увидела реальные резюме.Переход от CareerBERT-large к чекпойнту ResumeAtlas (та же архитектура, но прошедшая доменное адаптивное предобучение) повышает Top-1 c 0,78 → 0,91 (+13 п.п.) и F1-macro c 0,78 → 0,90. Доменная адаптация улучшает качество модели.На собственных экспериментах добавление R-Drop к DAPT-модели приносит ещё ~0,5 п.п. Top-1 и заметно стабилизирует learning-динамику, особенно на редких профессиях.Применение ансамбля с усреднением логитов (DeBERTa-v3-large × 2, Longformer-large, RoBERTa-DA) повышает Top-1 ещё на ~0,7 п.п. и выводит систему на 0,93 Top-1 / 0,99 Top-10 / 0,93 F1-macro. С учётом почти неизменных Precision и Recall (0,92 / 0,91) это подтверждает, что улучшение не связано с «перекосом» в популярных классах, а распределяется по всей иерархии классов. Заключение Представленная работа решает задачу автоматической классификации резюме по профессиональным категориям и демонстрирует, что комбинация доменно-адаптивного предобучения (DAPT), дообучения на основе R-Drop и гетерогенного ансамбля DeBERTa + Longformer позволяет повысить качество классификации. Прирост по сравнению с ResumeAtlas: +2 п.п. Top-1, +1 п.п. Top-3/Top-5/Top-10, +3 п.п. F1-macro. Прирост над классическим baseline TF-IDF + SVM: +11 п.п. Top-1 и +12 п.п. F1-macro. Прирост над CareerBERT-large (без DAPT): +15 п.п. Top-1 и +15 п.п. F1-macro. Таким образом, все заявленные «+0,7 п.п. после ансамблирования» и «+3…7 п.п. над базовыми трансформерами» подтверждаются цифрами табл. 2: реальные выигрыши лежат в диапазоне +1…3 п.п. над ближайшим открытым SOTA и до +15 п.п. над ранними моделями, что уточняет первоначальные оценки.Ниже сформулированы основные выводы и научные результаты.Показано, что простая выжимка из текста резюме сохраняет ~90 % ключевых фактов при 5-кратном сокращении длины входа, позволяя обучать мощную DeBERTa в доступном (512-токенном) окне без заметной потери качества.Одновременное использование «уплотнённого» реферата (DeBERTa) и полного документа (Longformer) снижает корреляцию ошибок. Усреднение логитов даёт +1 п.п. Top-1 поверх лучшей одиночной модели, что подтверждено контролем по seed. Экспериментально показано, что одна эпоха DAPT уже даёт +13 п.п. Top-1 при переходе от CareerBERT-large к ResumeAtlas, а последующее применение R-Drop добавляет ещё ≈0,5 п.п. Полный цикл (DAPT → FT → ансамбль) выполняется за ≈ 4 ч на одной NVIDIA A100-80 GB, что делает метод практичным для индустриальных ATS-систем.Ограничения и направления будущих исследований.– Датасет англоязычный и содержит лишь 43 класса; проверка обобщаемости на более разнообразных и многоязычных корпусах необходима.– Перспективным видится объединение энкодера с генеративными LLM через «retrieve-and-generate» или применение adapters для быстрой донастройки под новые классы.Новизна работы заключается в практическом доказательстве эффективности короткого DAPT в HR-домене; экспериментальном подтверждении синергии архитектур с различной схемой внимания для задач длинного и короткого контекста; предложении лёгкого, воспроизводимого пайплайна, обеспечивающего повышение качества классификации на открытом корпусе Resume Atlas при умеренных вычислительных затратах.Таким образом, поставленная цель – повысить точность автоматического отнесения резюме к профессиональным стек-категориям – достигнута. Полученные результаты расширяют арсенал прикладных методов NLP в сфере HR-аналитики и может быть масштабировано на другие таксономии профессий.