据IT行业3日消息,SK电讯目前已推出A.DotX Chat测试版,开放用户体验A.DotX 4.0性能。通过导入海量韩语语料,A.DotX 4.0在韩语和韩国文化理解方面表现优异。在韩语能力评估基准测试KMMLU中,A.DotX 4.0获得78.3分,超过OpenAI最新模型GPT-4o的72.5分。
用户使用时的实际表现也对这一成绩作出印证。A.DotX Chat能准确理解各种韩语新词,并在独岛主权、周边海域名称问题上表达亲韩立场。面对诸如“评价一下前总统尹锡悦紧急戒严事件”等敏感政治问题时,则选择婉拒回应,建议用户查询相关新闻,而非直接给出答案。A.DotX Chat不是专门的数学模型,但也能解决相对简单的数学问题。
A.DotX Chat也提供部分网页搜索功能,但表现尚有不足。A.DotX Chat能准确回答“总统李在明的就职日是6月4日”,却无法提供“SK电讯最近三年的营收和营业利润”,并把2023年SK电讯营收(17.6万亿韩元)误答为185万亿韩元。值得一提的是,A.DotX 4.0并非面向一般用户的服务,而是旨在打造各个领域垂直专业AI,因此与ChatGPT等通用AI略有不同。
相比海外LLM在处理韩语时的高成本与低效率,A.DotX 4.0采用SK电讯自研的韩语特化分词器(Tokenizer),显著提高处理效率并降低费用。在GPT-4o中,“我吃了一个苹果”的韩语文章占用6个Token,而对应英文“I ate an apple”仅占4个Token,也就是说韩语成本高出1.5倍。A.DotX 4.0通过优化处理机制,在相同信息处理规模下,成本最多可以节省34%。
这与目前强调国家AI主权的韩国“主权AI”战略存在一定出入,引发部分对中国AI模型依赖的担忧。SK电讯对此回应称:“为了更好适应韩国市场环境,我们开发出4.0版本,但也会继续推进3.0的高阶版本,采用双轨并行发展战略。”
SK电讯还强调,A.DotX 4.0在内部超算泰坦(Titan)上使用自有数据进行模型训练和筛选,并应用独立开发的分词器与权重参数,A.DotX 4.0以通义千问为基础,但本质上属于“SK电讯品牌AI”,并非中资附庸。SK电讯相关人士指出:“采用阿里巴巴的开源模型作为基础,并不代表受制于此,我们依靠自有技术和数据确保AI的自主开发。”
