Evaluation of Image Understanding Capabilities of Large Language Models in Chinese Contexts / 中文语境下的人工智能大语言模型图像理解能力评测

排名	模型	Model version	机构	国家	视觉感知与识别	视觉推理与分析	视觉审美与创意	安全与责任	综合得分
10	MiniCPM-Llama3-V 2.5	claude-3-5-sonnet-20240620	Anthropic	美国	75.1	66.1	82.6	71.1	73.7

排名	模型	Model version	机构	国家	视觉感知与识别	视觉推理与分析	视觉审美与创意	安全与责任	综合得分
1	GPT-4o	gpt-4o-2024-05-13	OpenAI	美国	75.1	66.1	82.6	71.1	73.7
2	Claude	claude-3-5-sonnet-20240620	Anthropic	美国	75	63.3	73.3	77.1	72.2
3	海螺AI	not specified#	MiniMax	中国	69.4	57.1	77.1	70.6	68.6
4	Step-1V	step-1v-32k	阶跃星辰	中国	71.9	55.9	74.6	70.9	68.3
5	Gemini	gemini-1.5-pro	Google	美国	65	50.4	74.1	74.4	66
6	通义千问-VL	qwen-vl-max-0809	阿里巴巴	中国	72.9	61.1	75.4	52.6	65.5
7	GPT-4 Turbo	gpt-4-turbo-2024-04-09	OpenAI	美国	68.2	54	75.1	63	65.1
8	文心一言	文心大模型 4.0 Turbo	百度	中国	68.6	49	77.9	58.7	63.6
9	GPT-4o-mini	gpt-4o-mini-2024-07-18	OpenAI	美国	67.8	52	78.4	51.7	62.5
10	百小应	Baichuan4	百川智能	中国	60.3	50.9	73.9	61.4	61.6
11	混元-Vision	hunyuan-vision	腾讯	中国	69	57.9	75	43.3	61.3
12	书生•万象	InternVL2-40B	上海人工智能实验室	中国	68.9	52	79.9	43.9	61.1
13	Reka Core	reka-core-20240501	Reka	美国	55.7	43.6	64	60.3	55.9
14	DeepSeek-VL	deepseek-vl-7b-chat	深度求索	中国	46.2	38.4	57.3	71.1	53.3
15	讯飞星火	spark/v2.1/image	科大讯飞	中国	55.4	38.1	61.9	57.1	53.1
16	智谱GLM-4v	glm-4v	智谱AI	中国	59.5	46.1	58.3	42.6	51.6
17	Yi-Vision	yi-vision	零一万物	中国	59.1	51.7	57.7	36.6	51.3
18	SenseChat-Vision5	SenseChat-Vision5	商汤科技	中国	58.1	48.7	59.9	38	51.2
19	浦语•灵笔2	internlm-xcomposer2-vl-7b	上海人工智能实验室	中国	48.6	39.7	59.3	50.4	49.5
20	MiniCPM-Llama3-V 2.5	MiniCPM-Llama3-V 2.5	面壁智能	中国	49.4	40.4	52	53.6	48.9

注：在交互过程中，百小应（网页）、文心一言（网页）、智谱GLM-4V（API）、讯飞星火（API）和SenseChat-Vision（API）因不同原因（如敏感性或未知问题）对五条或以上指令未作出回复，对其最终得分产生了影响。
为方便比较，上述得分由7分制转换为100分制。需要注意的是，上述任务均在中文语境下进行评测，因此这一排名结果不一定能推广至英文语境的测试中。
^#海螺AI由MiniMax基于其自研多模态大语言模型开发，支持智能搜索问答、图像识别解析及文本创作等多种功能，其底层的大语言模型版本信息未公开披露。

排名	模型	Model version	机构	国家	详细描述	总结性描述	特征定位	代码识别	汉字识别	公式识别	生物物种识别	文化与自然识别	视觉感知与识别均分（7分制）
1	GPT-4o	gpt-4o-2024-05-13	OpenAI	美国	5.4	4.87	5.17	6.37	5.53	5.54	5.3	4.33	5.26
2	Claude	claude-3-5-sonnet-20240620	Anthropic	美国	5.75	5.03	4.6	6.47	5.5	6.28	4.61	4.47	5.25
3	通义千问-VL	qwen-vl-max-0809	阿里巴巴	中国	5.01	4.76	3.47	5.6	6	5.39	5.24	5.22	5.1
4	Step-1V	step-1v-32k	阶跃星辰	中国	5.19	4.67	3.9	4.9	5.31	4.72	5.06	6	5.03
5	海螺AI	not specified	MiniMax	中国	5.25	4.78	3.73	5.33	5.69	4.8	5	4.42	4.86
6	混元-Vision	hunyuan-vision	腾讯	中国	5.25	4.7	3.97	4.83	5.31	4.89	5.24	4.44	4.83
7	书生•万象	InternVL2-40B	上海人工智能实验室	中国	5.41	5.05	4.07	4.27	5.58	5.57	4.82	4.13	4.82
8	文心一言	文心大模型 4.0 Turbo	百度	中国	5.38	4.45	3.73	4.53	5.78	3.19	4.91	5.87	4.8
9	GPT-4 Turbo	gpt-4-turbo-2024-04-09	OpenAI	美国	5.33	4.68	3.97	5.63	2.44	5.87	5.21	4.82	4.77
10	GPT-4o-mini	gpt-4o-mini-2024-07-18	OpenAI	美国	5.34	5.3	3.1	5.73	4.28	5.28	4.61	4.49	4.74
11	Gemini	gemini-1.5-pro	Google	美国	4.56	4.63	2.93	5.63	3.5	6.04	4.33	4.78	4.55
12	百小应	Baichuan4	百川智能	中国	2.83	2.55	3.4	5.3	4.53	5.89	4.36	4.64	4.22
13	智谱GLM-4V	glm-4v	智谱AI	中国	4.12	3.4	3.37	3.97	5.33	3.87	3.79	5.16	4.17
14	Yi-Vision	yi-vision	零一万物	中国	4.99	4.62	3.8	4.6	4.36	5.19	3.64	2.82	4.14
15	SenseChat-Vision5	SenseChat-Vision5	商汤科技	中国	4.62	3.72	3.7	3.93	4.83	2.93	5.06	3.53	4.07
16	Reka Core	reka-core-20240501	Reka	美国	4.8	4.18	4.17	3.87	1.64	4.35	4.18	3.87	3.9
17	讯飞星火	spark/v2.1/image	科大讯飞	中国	4.6	4.67	3.83	2.8	4.67	2.09	4.09	4.06	3.88
18	MiniCPM-Llama3-V 2.5	MiniCPM-Llama3-V 2.5	面壁智能	中国	4.76	3.6	2.83	2.03	3.61	1.83	4.03	4.29	3.46
19	浦语•灵笔2	internlm-xcomposer2-vl-7b	上海人工智能实验室	中国	3.83	4.3	3.63	3.1	3.11	2.59	3.64	3.07	3.4
20	DeepSeek-VL	deepseek-vl-7b-chat	深度求索	中国	4.86	3.48	3.23	2.63	1.5	2.67	4	3.16	3.23

排名	模型	Model version	机构	国家	常识问答	Meme理解与分析	专业学科知识问答	图表分析	逻辑推理	视觉推理与分析均分（7分制）
1	GPT-4o	gpt-4o-2024-05-13	OpenAI	美国	5.87	5.45	54.80%	4.71	4.1	4.63
2	Claude	claude-3-5-sonnet-20240620	Anthropic	美国	5.56	5.05	54.40%	4.71	3.67	4.43
3	通义千问-VL	qwen-vl-max-0809	阿里巴巴	中国	5.04	4.17	61.70%	4.38	3.46	4.28
4	混元-Vision	hunyuan-vision	腾讯	中国	5.94	4.3	50.70%	4.67	2.28	4.05
5	海螺AI	not specified	MiniMax	中国	4.89	4.68	52.10%	4.38	2.77	4
6	Step-1V	step-1v-32k	阶跃星辰	中国	5.9	4.4	52.00%	3.62	2.28	3.91
7	GPT-4 Turbo	gpt-4-turbo-2024-04-09	OpenAI	美国	5.34	3.73	51.10%	4.04	2.44	3.78
8	书生•万象	InternVL2-40B	上海人工智能实验室	中国	5.13	4.75	48.70%	3.33	1.82	3.64
9	GPT-4o-mini	gpt-4o-mini-2024-07-18	OpenAI	美国	5.32	3.7	40.80%	4.36	2.74	3.64
10	Yi-Vision	yi-vision	零一万物	中国	4.73	4.23	45.20%	4.29	2.13	3.62
11	百小应	Baichuan4	百川智能	中国	5.26	3.68	44.20%	4.02	2.23	3.56
12	Gemini	gemini-1.5-pro	Google	美国	4.74	3.63	49.40%	3.84	2.08	3.53
13	文心一言	文心大模型 4.0 Turbo	百度	中国	5.37	3	47.50%	4.13	1.41	3.43
14	SenseChat-Vision5	SenseChat-Vision5	商汤科技	中国	4.56	3.97	48.30%	3.6	1.56	3.41
15	智谱GLM-4V	glm-4v	智谱AI	中国	5.25	3.65	35.80%	4	1.44	3.23
16	Reka Core	reka-core-20240501	Reka	美国	5.14	3.23	34.80%	3.36	1.72	3.05
17	MiniCPM-Llama3-V 2.5	MiniCPM-Llama3-V 2.5	面壁智能	中国	4.67	2.87	33.30%	2.67	2.1	2.83
18	浦语•灵笔2	internlm-xcomposer2-vl-7b	上海人工智能实验室	中国	4.21	2.85	37.00%	2.56	1.85	2.78
19	DeepSeek-VL	deepseek-vl-7b-chat	深度求索	中国	4.73	2.8	25.50%	2.73	2.33	2.69
20	讯飞星火	spark/v2.1/image	科大讯飞	中国	4.49	3.15	30.60%	2.44	1.67	2.67

排名	模型	Model version	机构	国家	数学	化学	历史	地理	生物	物理	平均正确率
1	通义千问-VL	qwen-vl-max-0809	阿里巴巴	中国	46.70%	53.30%	83.30%	66.70%	71.40%	48.60%	61.70%
2	GPT-4o	gpt-4o-2024-05-13	OpenAI	美国	43.30%	43.30%	70.00%	73.30%	50.00%	48.60%	54.80%
3	Claude	claude-3-5-sonnet-20240620	Anthropic	美国	43.30%	63.30%	70.00%	70.00%	42.90%	37.10%	54.40%
4	海螺AI	not specified	MiniMax	中国	23.30%	56.70%	70.00%	70.00%	64.30%	28.60%	52.10%
5	Step-1V	step-1v-32k	阶跃星辰	中国	30.00%	36.70%	76.70%	50.00%	78.60%	40.00%	52.00%
6	GPT-4 Turbo	gpt-4-turbo-2024-04-09	OpenAI	美国	33.30%	53.30%	46.70%	63.30%	64.30%	45.70%	51.10%
7	混元-Vision	hunyuan-vision	腾讯	混元	40.00%	50.00%	73.30%	66.70%	42.90%	31.40%	50.70%
8	Gemini	gemini-1.5-pro	Google	美国	40.00%	46.70%	73.30%	63.30%	35.70%	37.10%	49.40%
9	书生•万象	InternVL2-40B	上海人工智能实验室	中国	23.30%	36.70%	80.00%	53.30%	64.30%	34.30%	48.70%
10	SenseChat-Vision5	SenseChat-Vision5	商汤科技	中国	26.70%	43.30%	80.00%	50.00%	64.30%	25.70%	48.30%
11	文心一言	文心大模型 4.0 Turbo	百度	中国	43.30%	36.70%	70.00%	46.70%	42.90%	45.70%	47.50%
12	Yi-Vision	yi-vision	零一万物	中国	40.00%	23.30%	56.70%	70.00%	50.00%	31.40%	45.20%
13	百小应	Baichuan4	百川智能	中国	20.00%	33.30%	70.00%	73.30%	42.90%	25.70%	44.20%
14	GPT-4o-mini	gpt-4o-mini-2024-07-18	OpenAI	美国	26.70%	40.00%	40.00%	56.70%	50.00%	31.40%	40.80%
15	浦语•灵笔2	internlm-xcomposer2-vl-7b	上海人工智能实验室	中国	23.30%	26.70%	66.70%	46.70%	35.70%	22.90%	37.00%
16	智谱GLM-4V	glm-4v	智谱AI	中国	23.30%	30.00%	50.00%	40.00%	42.90%	28.60%	35.80%
17	Reka Core	reka-core-20240501	Reka	美国	23.30%	33.30%	60.00%	53.30%	21.40%	17.10%	34.80%
18	MiniCPM-Llama3-V 2.5	MiniCPM-Llama3-V 2.5	面壁智能	中国	23.30%	20.00%	53.30%	50.00%	21.40%	31.40%	33.30%
19	讯飞星火	spark/v2.1/image	科大讯飞	中国	26.70%	26.70%	30.00%	40.00%	42.90%	17.10%	30.60%
20	DeepSeek-VL	deepseek-vl-7b-chat	深度求索	中国	10.00%	30.00%	30.00%	40.00%	14.30%	28.60%	25.50%