业界与AI半导体公司普瑞奥萨AI合作,在达梦门户网站推出国产全栈索博林AI服务。该服务通过在普瑞奥萨的AI神经网络处理器(NPU)上运行业界的大规模语言模型(LLM),并将其应用于达梦的‘AI概览’服务,展示了国产AI技术的自给自足潜力。
业界代表与普瑞奥萨AI代表于7月15日举行在线讨论,介绍了他们合作的达梦实时搜索摘要服务‘AI概览’的案例,并讨论了未来的合作计划。
普瑞奥萨AI代表表示,达梦的‘AI概览’专注于处理基于实时信息的最新内容。最近,谷歌开始在搜索结果顶部提供AI综合和摘要回答的服务,达梦则专注于从媒体合作、社区和Tistory服务中获取最新信息。
目前,‘AI概览’服务在三个服务器节点上投入了约24个芯片,每日处理约5亿个令牌。普瑞奥萨AI代表表示:“我们结合了关键词搜索和向量搜索的‘混合搜索’方式,以便能够搜索到最新信息,并通过强大的工程技术解决在总结过程中出现的幻觉问题。”
普瑞奥萨AI代表指出,雷尼盖德的优势在于成本和电力效率。为了最优性能实现像索拉这样的前沿模型,普瑞奥萨AI开发了高效转换AI模型的编译器和适应不同服务场景的模型提供引擎。
三家公司计划通过达梦的代理AI服务继续合作。达梦将在‘AI概览’服务之后扩展至购物、美食等垂直AI服务,并推动‘一人一代理’的普及。目前,‘AI概览’的曝光率约占达梦整体搜索查询的20%。达梦计划在未来将‘AI概览’的曝光比例提高到一半以上。
达梦的AI代理预计将积极反映‘AI概览’和实时趋势等最新信息。随着达梦的实时趋势服务的推出,搜索趋势正在发生变化,达梦计划基于此构建符合用户兴趣的个性化代理。
普瑞奥萨AI计划继续扩展解决方案和产品,以支持达梦的‘AI概览’和代理AI服务的最佳令牌成本和性能。
业界代表表示:“在达梦门户使用‘AI概览’意味着同时使用业界的索拉和普瑞奥萨AI的NPU,随着国产AI模型和基础设施的使用量增加,必须形成提升质量的良性循环。”
※ 本报道经人工智能(AI)系统翻译与编辑。


