Аналитический обзор проверки работ

Общая статистика

Показатель	Значение
Всего проверено работ	~100
Моделей для сравнения	4
Диапазон баллов	13/22 (41%) — 22/22 (100%)
Средний балл по выборке	~18.5/22 (84%)

---

Сравнение моделей проверки

Сводная таблица точности

Модель	Средняя точность	Стабильность	Скорость	Надёжность
Qwen 3.5 (122B)	94.2%	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	✅ Рекомендуется
GPT-4o	91.8%	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	✅ С оговорками
GPT-5 Pro	89.5%	⭐⭐⭐	⭐⭐⭐	⚠️ Требует контроля
Claude 4.6 Opus	87.3%	⭐⭐⭐	⭐⭐⭐	⚠️ Частые артефакты

🔤 Тестирование OCR-моделей

Результаты распознавания рукописного текста

Показатель	Значение
Средняя точность распознавания	97.8%
Лучший результат	99.1% (Абдрахманова)
Типичные ошибки	Имена собственные, окончания, пунктуация

🔎 Типичные ошибки OCR

Тип ошибки	Частота	Пример
Имена собственные	~60%	«Гурифонов» → Трифонов, «Эгиден» → Эмден
Окончания слов	~25%	«намочила» → намокла, «переулочок» → переулок
Пунктуация	~10%	Пропуск тире, кавычек
Латиница в кириллице	~5%	«Глеbove» вместо Глебове

💡 Выводы по OCR:

✅ Можно доверять для общей оценки содержания и структуры работы
⚠️ Требует ручной проверки при оценке:

• Имен авторов и персонажей
• Цитат и точных формулировок
• Пунктуационных нюансов

---

⚖️ Плюсы и минусы моделей

✅ Сильные стороны

Модель	Преимущества
Qwen 3.5	• Наилучшая точность критериев К1-К10 • Минимум ложных занижений • Стабильная работа с русским текстом
GPT-4o	• Быстрая обработка • Хорошее понимание контекста • Удобный формат вывода
GPT-5 Pro	• Детальные комментарии • Попытка объяснить логику оценки
Claude 4.6	• Аккуратное форматирование • Внимание к структуре текста

❌Слабые стороны

Модель	Недостатки
Qwen 3.5	• Иногда избыточно строг к аргументации • Редкие ошибки в именах
GPT-4o	• Может «додумывать» несуществующие ошибки • Нестабильность на сложных работах
GPT-5 Pro	• Частые артефакты в тексте ([?], пропуски) • Занижение за мелкие неточности
Claude 4.6	• Проблемы с кириллицей • Избыточное форматирование (маркдаун-символы) • Низкая точность на длинных текстах

---

🎯 Можно ли доверять моделям?

✅ Да, если:

• Использовать как первичный фильтр для быстрой сортировки работ
• Проверять пограничные случаи (18-20 баллов) экспертом
• Использовать Qwen 3.5 как основную модель проверки

❌ Нет, если:

• Требуется 100% точность для апелляций
• Работа содержит нестандартную аргументацию
• Критичны точные цитаты и имена

🔧 Рекомендации по внедрению:

1. Двухэтапная проверка: Модель → Эксперт (только для работ 17-20 баллов)
2. Контрольная выборка: 10% работ перепроверять вручную
3. Логирование расхождений: Накопление данных для дообучения
4. Приоритет Qwen 3.5: Использовать как baseline-модель

---