世界即时看!微软打造 13 亿参数小型 LLM AI模型,效果胜于千亿参数 GPT-3.5
时间:2023-06-28 07:41:11来源:搜狐号-IT之家


【资料图】

IT之家 6 月 27 日消息,AI 模型盲堆体积实际上效果并不见得更好,更多要看训练数据的质量,微软日前最近发布了一款 13 亿参数的语言模型 phi-1,采用“教科书等级”的高品质资料集训练而成,据称“实际效果胜于千亿参数的 GPT 3.5”。

▲ 图源 Arxiv

IT之家注意到,该模型以 Transformer 架构为基础,微软团队使用了包括来自网络的“教科书等级”数据和以 GPT-3.5 经过处理的“逻辑严密的内容”,以及 8 个英伟达 A100 GPU,在短短 4 天内完成训练。

▲ 图源 Arxiv

微软团队表示,比起增加模型的参数量,通过提高模型的训练数据集质量,也许更能强化模型的准确率和效率,于是,他们利用高质量数据训练出了 phi-1 模型。在测试中,phi-1 的分数达到 50.6%,比起 1750 亿参数的 GPT-3.5(47%)还要好。

▲ 图源 Arxiv

微软表示,phi-1 接下来会在 HuggingFace 中开源,而这不是微软第一次开发小型 LLM,此前,他们打造一款 130 亿参数的 Orca,使用了 GPT-4 合成的数据训练而成,表现也同样比 ChatGPT 更好。

目前关于 phi-1 的论文已经在 arXiv 中发布,可以在这里找到论文的相关内容。

标签:

最新
  • 世界即时看!微软打造 13 亿参数小型 LLM AI模型,效果胜于千亿参数 GPT-3.5

    IT之家6月27日消息,AI模型盲堆体积实际上效果并不见得更好,更多要看

  • 第十四届夏季达沃斯论坛今天开幕_今日热门

    6月27日,第十四届夏季达沃斯论坛今天(27日)起至29日在天津举行。这

  • 环球快播:针对气溶胶单散射反照率垂直剖面开发的先进检测技术

    近日,中国科学院合肥物质科学研究院安徽光机所张维军教授课题组实现气

  • 天天热资讯!vivo X90s上新!四款vivo X90参数对比一文看懂怎么选!

    vivoX90s已经在昨天发布,vivoX90系列的四款手机到底应该怎么选?1vivo

  • 全球热讯:模拟山羊3安全帽获取流程视频攻略

    模拟山羊3安全帽获取流程是很多人想要了解的,模拟山羊3是搞怪的最新力

  • 膏药产业转型升级新契机 河南仙佑集团引领行业新潮流-快播

    仙佑集团膏药贴牌代加工厂家了解到,近年来,随着健康意识的提高和

  • 走进学院 | 广州工商学院东北州立联合科技学院-全球观点

    学院简介广州工商学院东北州立联合科技学院(广州工商学院联合理工学院)

  • “你赶考 我护航 ” 郑州公交志愿者助力中考

    一年一度的中考已经拉开帷幕,为全力护航莘莘学子,为考生提供助力,中

  • 中上协黄运成:国有控股公司估值亟待提振 全球快讯

    6月26日,贝壳财经记者获悉,中国上市公司协会学术顾问委员会主任委员

  • 压轴出场是第几个出场?压轴登场是什么意思?-天天讯息

    压轴出场是第几个出场?1、 倒数第二个2、 轴指歌剧表演中的倒数第

  • 【天天快播报】立案了就要抓人吗?立案侦查的条件

    一、什么条件可以立案侦查以下条件可以立案侦查:1 有犯罪事实。即

  • 欧青赛战报:葡萄牙难取取胜,西班牙两连胜锁定升级

    欧青赛U21在昨日进行了第二轮的较量,A组和B组的四支队伍再次交锋。

  • 文化山西:山西的古代壁画 世界速讯

    汉代的墓室壁画汉代壁画是汉代美术创作活动中一个极为重要的组成部分,

  • 中老两国禁毒部门密切合作成功侦破“12.04”中国移民警察蔡晓东被杀害案_热议

    记者今天(25日)从公安部获悉,2022年12月12日14时20分,在中国与老挝

  • 全球快资讯丨老年人如何存钱比较好? 老年人用银行卡、存单、存折中的哪一个最好?

    老年人如何存钱比较好?1、选择合理的期限老年人在存钱的时候,是需

  • 水瓶座最适合的专属香水是佛手柑为前调的复合香?

    白羊座:檀木白羊座的专属香水,是香料型的檀香,以其他清淡的香料

  • 旅游
    • 国内商品期市日间盘涨跌不一 原油涨超3%

    • 端午佳节“送法”进校 撑起童心安全之伞

    • 金陵十三钗各个人的结局(金陵十三钗各个死法)

    • 天天看点:原创组图|三亚:夏至的海边,夕阳余晖美如画