AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为AMD-135M”。

[原创文章：www.ii77.com]

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍 [原创文章：www.ii77.com]

相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族，有两个版本：

一是基础型AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。

创建与部署流程

它使用了一种名为推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。

这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。

比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。

推测解码

AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。

按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

标签：
  1. 上一篇：锐龙7 9800X3D缓存不变还是104MB：频率大涨！
  2. 下一篇：没有了

热门文章

  1. AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍2024-10-01
  2. 锐龙7 9800X3D缓存不变还是104MB：频率大涨！2024-10-01
  3. 博主托运车辆忘拔ETC被重复扣费1400多：已按攻略找回2024-10-01
  4. 打破国外垄断！全球最大24000TEU甲醇双燃料动力集装箱船用曲轴下线2024-10-01
  5. 包银高铁银惠段开通 只有97公里：全年预计2331公里2024-10-01
  6. 山西大同降大雪：游客白了头2024-10-01
  7. 热搜第一！国庆假期第一天：多地人人人人人你人人人人人2024-10-01
  8. 电影《749局》口碑崩盘 网友吐槽难看：《上海堡垒》2.02024-10-01
  9. 新款LS6成主力！智己9月销量4516台：同比上涨150%2024-10-01
  10. 国庆档新片票房破5亿：《749局》领跑票房榜2024-10-01
  11. 蔚来9月销量公布！交付新车2.1181万台 连续5月突破2万大关2024-10-01
  12. 差点破4万 鸿蒙智行9月交付39931辆：成交均价遥遥领先2024-10-01
  13. 比亚迪9月销量419426台再创新高！纯电车型占比近40%2024-10-01
  14. 出口占比近1/2！奇瑞9月销量24.5万辆：同比增长28.6%2024-10-01
  15. 小米SU7月交付再破万台 雷军直播承诺：10月破2万！2024-10-01
  16. 高速夜间堵车司机熄火睡觉 被无人机叫醒 网友：飞行闹钟2024-10-01
  17. 大失所望！iPhone 16 Pro Max 87款充电器实测：远远不到45W2024-10-01
  18. 一场大火 iPhone印度代工厂无限期停产2024-10-01
  19. 11.98万的M03卖爆了：小鹏汽车9月销量重返2万台2024-10-01
  20. 十一黄金周火车票已卖出1.1亿张：你到家了吗2024-10-01
  21. 美股三大指数小幅低开，中概汽车股集体走高2024-10-01
  22. A股新开户85后、90后为主力，00后开户数量明显提升2024-10-01
  23. 日经225指数收盘涨1.93%2024-10-01
  24. 日经225指数涨幅扩大至2%2024-10-01
  25. 富时中国A50指数期货高开，现跌0.99%2024-10-01
  26. 美股夜盘新能源车股集体拉升2024-10-01
  27. 日经225指数开盘涨0.95%2024-10-01
  28. 美股三大指数集体收涨，热门科技股多数上涨2024-10-01
  29. 热门中概股涨跌不一，纳斯达克中国金龙指数9月份累计上涨近30%2024-10-01
  30. 欧股主要指数收盘普跌2024-10-01
自媒体 微信号：ii77 扫描二维码关注公众号
爱八卦，爱爆料。

小编推荐

  1. 1 幸福之花处处开——临沧全力打造现代化边境幸福村“升级版”

    刺树丫口是镇康县的一个边境村。这里属于喀斯特意貌，海拔高，干旱缺水，村前村后都是石头林，被村民称为石头寨。然而，就是如许一个交通闭
  2. 2 【工作动态】为确保中秋节期间社区矫正安全稳定 佳木斯在全辖范围内开展集中点验活动

    为确保中秋节时代社区矫正平安不乱佳木斯在全辖局限内开展集中点验运动///////////////中秋前夜，为维护节日时代社区矫正平安不乱工作，切实增强
  3. 3 从业资格证考试取消7年后，哪些证书价值飙升？今天统一回复

    1管帐从业资格证测验被作废证书还有效吗？不知不觉，管帐从业资格测验已作废7年，早在2017年，财务部发布的“关于卖力做好宣传贯彻新管帐法有
  4. 4 《边水往事》如何长久地吸引观众

    在勃磨这个是非之地，所有的适应都是假象，唯有逃离才或者真正地全身而退▶ 未经授权 不得转载文 | 陈斌责任编纂 | 尹丽“作者沈星星边水旧事
  5. 5 2025年定远城乡居民医保缴费指南→

    更多出色，请点击上方蓝字存眷我们！ 2025年度 城乡居民医保参保缴费须知凭据《安徽省医疗保障局 安徽省财务厅 国度税务总局安徽省税务局关于
  6. 6 输液外渗的处理方法，临床适用！

    输液外渗是指在输液治理过程中，非有意地造成侵蚀性药物或溶液进入血管四周组织，而不是进入正常的血管通路。在外科病房：1000个静脉输液外渗
  7. 7 坚持以人民为中心 扎实推进人力资源社会保障领域改革

    对峙以人民为中心 扎实推进人力资源社会保障范畴改造中共人力资源和社会保障部党组理论进修中心组 党的二十届三中全会审议经由的《中共中
  8. 8 公告已发，正在报名，速戳！

    近日，2024年度公路水运工程试验检测专业手艺人员职业资格测验省级测验通知(湖南省)发布，测验定于2024年10月26日至27日在湖南交通职业手艺学院
  9. 9 最新！二十届三中全会精神权威解读来了

    7月19日上午，中共中央举办新闻发布会，介绍息争读党的二十届三中全会精神。《决意》提出300多项主要改造办法中国共产党第二十届中央委员会第
  10. 10 脖子上的小肉粒，警示你颈部淋巴“毒”素已堆满，要赶紧疏通！

    平常生活中有些人的脖子会长好多小肉粒、小黑点，而且脖子和脸部的颜色纷歧样！稀奇是经常咽喉肿痛、抽烟、或有呼吸道方面问题的人！那这些

本文内容来自网友供稿，如有信息侵犯了您的权益，请联系反馈核实

Copyright 2024.爱妻自媒体，让大家了解更多图文资讯！