API-RankКак проверить, что вам отвечает настоящая модель
Подмена и урезание моделей: 5 схем · чек-лист ручной проверки · что делать при подтверждении
TL;DR — самое короткое правило
Если нет времени читать целиком, запомните два пункта: ① цена, необъяснимо низкая для этой модели, — самый надёжный сигнал проблемы; ② прежде чем пополнять крупную сумму, прогоните свои реальные задачи на минимальном пополнении и сверьтесь с колонкой «Проверка модели» в рейтинге.
1. Пять схем подмены и урезания
1. Подмена на дешёвую модель. Тарификация по цене Claude, а отвечает GPT-4o-mini / Qwen / DeepSeek. Ответы «похожи на правду», но сложные рассуждения и длинные цепочки задач выдают подмену.
2. Подмена версии. Выбираете Sonnet 4.6 / Opus 4.8 — получаете более старую и дешёвую версию: способности не соответствуют заявленной.
3. Урезание контекста и вывода. Заявлен длинный контекст — на деле тихо обрезается; либо занижен максимум вывода: на длинных текстах модель «теряет память» или обрывается.
4. Маскировка ответов. Ответ сторонней модели упаковывается в структуру Anthropic (имя модели, stop_reason, поля тарификации) — на глаз и простым скриптом не отличить.
5. Периодическая подмена. Дешёвый бэкенд подставляется только в часы пик — «один раз проверил, всё нормально» ничего не гарантирует.
Цена сама по себе — не улика: перепродажа подписок и бесплатные лимиты IDE дают настоящую модель заметно дешевле официальной цены (разбор источников дешёвого API). Подозревать подмену стоит там, где сервис не может объяснить происхождение низкой цены.
2. Подмена версии. Выбираете Sonnet 4.6 / Opus 4.8 — получаете более старую и дешёвую версию: способности не соответствуют заявленной.
3. Урезание контекста и вывода. Заявлен длинный контекст — на деле тихо обрезается; либо занижен максимум вывода: на длинных текстах модель «теряет память» или обрывается.
4. Маскировка ответов. Ответ сторонней модели упаковывается в структуру Anthropic (имя модели, stop_reason, поля тарификации) — на глаз и простым скриптом не отличить.
5. Периодическая подмена. Дешёвый бэкенд подставляется только в часы пик — «один раз проверил, всё нормально» ничего не гарантирует.
Цена сама по себе — не улика: перепродажа подписок и бесплатные лимиты IDE дают настоящую модель заметно дешевле официальной цены (разбор источников дешёвого API). Подозревать подмену стоит там, где сервис не может объяснить происхождение низкой цены.
2. Чек-лист ручной проверки — бесплатно, 5 шагов
Первичную проверку можно сделать без всяких инструментов:
① Сверьте цену. Сравните цену модели с рыночным минимумом (в наших таблицах есть множители к официальной цене) и посмотрите, объясняет ли сервис источник канала. Сильно ниже рынка + без объяснений = главный сигнал риска. Этот шаг самый дешёвый и самый информативный.
② Фиксированный набор вопросов. Подготовьте несколько знакомых вам сложных задач и прогоните их через доверенный канал и через проверяемый: сравните стиль, глубину рассуждений, детальность.
③ Тест длинного контекста. Отправьте длинный текст и в конце спросите деталь, которая была только в начале — обрезанный контекст сразу видно.
④ Тест возможностей версии. Задайте задачу, которую новая версия решает, а старая/дешёвая — нет: соответствуют ли способности заявленной версии.
⑤ Повторите в разное время. Не тестируйте один раз — меняйте время суток и сеть, чтобы поймать периодическую подмену.
Ограничение ручного метода: вы видите только «похоже / не похоже». Отпечатки на уровне тарификации и статистики вывода вручную не проверить — это субъективно и обманываемо.
① Сверьте цену. Сравните цену модели с рыночным минимумом (в наших таблицах есть множители к официальной цене) и посмотрите, объясняет ли сервис источник канала. Сильно ниже рынка + без объяснений = главный сигнал риска. Этот шаг самый дешёвый и самый информативный.
② Фиксированный набор вопросов. Подготовьте несколько знакомых вам сложных задач и прогоните их через доверенный канал и через проверяемый: сравните стиль, глубину рассуждений, детальность.
③ Тест длинного контекста. Отправьте длинный текст и в конце спросите деталь, которая была только в начале — обрезанный контекст сразу видно.
④ Тест возможностей версии. Задайте задачу, которую новая версия решает, а старая/дешёвая — нет: соответствуют ли способности заявленной версии.
⑤ Повторите в разное время. Не тестируйте один раз — меняйте время суток и сеть, чтобы поймать периодическую подмену.
Ограничение ручного метода: вы видите только «похоже / не похоже». Отпечатки на уровне тарификации и статистики вывода вручную не проверить — это субъективно и обманываемо.
3. Что проверяем мы
Для сервисов из рейтинга мы прогоняем программные проверки по их API: служебные поля и поведение протокола, статистические отпечатки токенизатора, соответствие заявленной версии — измеримые признаки, которые сложнее подделать, чем «стиль ответа». Результат — в колонке «Проверка модели» рейтинга: пройдена / под вопросом / не пройдена / нет данных.
Как читать результат: разовая проверка шумная — «не пройдена» означает серьёзное подозрение, а не приговор; «нет данных» значит только то, что проверка ещё не проводилась. Подробнее — в методологии.
Как читать результат: разовая проверка шумная — «не пройдена» означает серьёзное подозрение, а не приговор; «нет данных» значит только то, что проверка ещё не проводилась. Подробнее — в методологии.
4. Подмена подтвердилась — что делать
• Не пополняйте этот сервис больше, особенно крупными суммами;
• Переходите на сервис среднего ценового сегмента со стабильными результатами проверок — экономия на канале, происхождение которого не объясняют, не окупает потерь;
• Сравнить цены и посмотреть статусы проверок можно в рейтинге; как выбирать без потерь — в гайде по выбору.
• Переходите на сервис среднего ценового сегмента со стабильными результатами проверок — экономия на канале, происхождение которого не объясняют, не окупает потерь;
• Сравнить цены и посмотреть статусы проверок можно в рейтинге; как выбирать без потерь — в гайде по выбору.
Частые вопросы
Бывает ли подмена моделей на самом деле?
Да, встречается: вместо заявленной модели может отвечать более дешёвая или старая версия, либо тихо урезается заявленный контекст и вывод. Внешне ответы похожи, разница видна на сложных задачах и при замерах — проверяйте модель до крупного пополнения.
Как самому проверить модель без инструментов?
Пять шагов: сверить цену с рыночной и спросить про источник канала; прогнать фиксированный набор сложных задач через доверенный и проверяемый канал; тест длинного контекста (вопрос по детали из начала текста); тест возможностей конкретной версии; повторить проверку в разное время суток — периодическая подмена ловится только так.
Дешёвый API — значит подделка?
Нет: например, перепродажа подписок или бесплатные лимиты IDE-инструментов дают настоящую модель заметно дешевле официальной цены. Подозревать подмену стоит там, где сервис не может объяснить происхождение низкой цены.