独立人工智能(AI)基础模型(独立AI基础模型)项目的最终竞争格局已缩小至Upstage、SK电信(SKT)和LG AI研究院三方。参与追加招募的Motif Technologies(Motif)未能通过第二阶段评估的门槛。
8月18日,科学技术信息通信部(科学部)和信息通信产业振兴院(NIPA)公布了独立AI基础模型第二阶段评估结果。评估结果显示,Motif被淘汰,而Upstage、SKT和LG AI研究院晋级下一阶段。
基准评估由人工分析(AA)的“智能指数(AAII)”25分和NIA基准15分组成。AAII评估使用了包括代理、编码、一般、科学等领域的高难度基准9种。NIA基准评估则集中在数学、知识、长文理解、指令执行、韩语、稳定性和可靠性等领域。
在基准评估中,四个精英团队的平均分为22.5分,第一名与第四名之间的分数差为4.0分。
专家评估由外部AI专家组成的专家委员会进行。专家委员会根据精英团队提交的评估材料,经过约一周的时间,对△开发战略与技术(10分)△开发成果与计划(10分)△影响力与贡献计划(15分)进行了深入评估。专家委员会由10名在AI算法、服务和数据领域具有专业知识且没有利益冲突的专家组成。
在专家评估中,四个精英团队的平均分为28.8分,第一名与第四名之间的分数差为2.4分。
此次阶段评估首次引入的用户评估由AI专业用户评估(15分)和普通公众评估(10分)组成。AI专业用户评估由49名AI初创公司代表参与,普通公众评估则有185名公民参与。此评估不仅限于评估AI模型的性能,还旨在综合评估不同用户在实际使用模型时的使用性和效用。
在用户评估中,四个精英团队的平均分为17.6分,第一名与第四名之间的分数差为5.0分,显示出比基准评估和专家评估更大的差距。
此外,科学部计划扩大对晋级精英团队的高性能图形处理器(GPU)B200的支持。
科学部表示:“我们深刻认识到顶级独立AI模型的必要性,正在与相关部门讨论超越现有模式的新支持体系,并计划在未来公布具体内容。”
※ 本报道经人工智能(AI)系统翻译与编辑。


