Перейти к основному содержимому
kitlocal.dev

Бенчмарки LLM

Работает локально

На 100% обрабатывается в вашем браузере. Входные и выходные данные никогда не покидают ваше устройство.

Просмотр и сравнение результатов LLM в бенчмарках (MMLU, HumanEval и др.).

Модель
GPT-4o88.790.295.896.795.3
Claude 3.5 Sonnet88.79296.496.795
Llama 3.1 405B88.68996.896.996
Claude 3 Opus86.884.99596.495.4
Gemini 1.5 Pro85.984.191.794.492.5
Mistral Large848191.29489.5
Llama 3.1 70B83.680.595.19392.2
GPT-4o mini8287.291.593.292
Claude 3 Haiku75.275.988.989.285.9

Наглядное сравнение: MMLU

GPT-4o
88.7
Claude 3.5 Sonnet
88.7
Llama 3.1 405B
88.6
Claude 3 Opus
86.8
Gemini 1.5 Pro
85.9
Mistral Large
84
Llama 3.1 70B
83.6
GPT-4o mini
82
Claude 3 Haiku
75.2

Бенчмарки взяты из отчетов разработчиков моделей и независимых оценок. Нажмите на заголовок столбца для сортировки.