,Techritual 香港科技电脑资讯网站,,Techritual 香港科技电脑资讯网站,,Microsoft 公布新大型自然语言模型 – Orca 2,有 130亿参数版本,22/11/2023, 文章转载自:mashdigi,134,,
微软近期公布新款大型自然语言模型Orca 2,虽然本身采小规模设计,但在推论能力却能与大规模设计的大型自然语言对比。
Orca 2区分70亿与130亿两种参数规模,本身基於前一代Orca模型设计,并且透过模仿强化自身推论能力,进而能对比大型语言模型推论效果。
目前微软已经将Orca 2开源提供使用,并且允许使用者进行客制化,藉此建立自有人工智慧系统,让资源有限的中小型企业也能更快导入人工智慧应用。
而微软更在训练过程采用不同方案,让Orca 2能将单一任务切成数个小型任务进行推论,此对应复杂问题解答,并且能对应语言理解、常识推理、多步骤推论、数学解答、文本理解、内容摘要等任务需求。
目前Orca 2的70亿与130亿参数版本都已经超过Meta的Llama 2 Chat 70亿与130亿版本,同时也能用於各类轻量化的人工智慧推论需求。
同时,微软也强调打造Orca 2方式也能用於其他基础模型,藉此推动更多小型人工智慧技术应用可能性。
,Techritual 香港River