摘要：西风发自凹非寺量子位| 公众号QbitAIPyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码！项目名为GPT-fast,加速效果观感是这样婶儿的：通畅，属实通畅！重点是，团队直接放出了代码以及详细“教程”。还是简笔画版的那种，特别好理解。开发团队成等我继续说。
...西风发自凹非寺量子位| 公众号QbitAIPyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码！项目名为GPT-fast,加速效果观感是这样婶儿的：通畅，属实通畅！重点是，团队直接放出了代码以及详细“教程”。还是简笔画版的那种，特别好理解。开发团队成等我继续说。
丰色发自凹非寺量子位| 公众号QbitAI这两天，FlashAttention团队推出了新作：一种给Transformer架构大模型推理加速的新方法，最高可提速8倍。该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证。甚至得到了PyTorch官方认可：如果你之前有所关注，就会记得用等会说。
＋０＋
feng se fa zi ao fei si liang zi wei | gong zhong hao Q b i t A I zhe liang tian ， F l a s h A t t e n t i o n tuan dui tui chu le xin zuo ： yi zhong gei T r a n s f o r m e r jia gou da mo xing tui li jia su de xin fang fa ， zui gao ke ti su 8 bei 。 gai fang fa you qi zao fu yu chang shang xia wen L L M , zai 6 4 k chang du de C o d e L l a m a - 3 4 B shang tong guo le yan zheng 。 shen zhi de dao le P y T o r c h guan fang ren ke ： ru guo ni zhi qian you suo guan zhu ， jiu hui ji de yong deng hui shuo 。
(-__-)b
鞭牛士10月7日消息，华为官方发布消息称，PyTorch社区正式发布2.1版本，经过PyTorch社区与升腾的持续合作和共同努力，Pytorch 2.1版本已同步支持升腾NPU,意味着开发者可直接在PyTorch 2.1上基于升腾进行模型开发。PyTorch在新版本中发布了更加完善的第三方设备接入机制，该特性等我继续说。
￣□￣｜｜
北京时间9月6日消息，Graphcore(拟未)宣布加入PyTorch基金会(PyTorch Foundation),从而与深度学习社区建立更紧密的联系，更好地开展开源PyTorch框架和生态系统方面的合作。Graphcore提供全新底层硬件，助力解锁新型人工智能技术PyTorch基金会是深度学习社区在开源PyTorch框架等我继续说。
IT之家8 月14 日消息，英特尔日前在官网上发布新闻稿，宣布以Premier 会员身份加入PyTorch 基金会。英特尔表示，其五年来一直积极参与PyTorch 开发，帮助优化PyTorch 的CPU 推理性能，并凭借此提升英特尔处理器上的AI 性能。▲ 图源英特尔新闻稿IT之家早前曾报道，在PyTorch 2等我继续说。
金融界2024年2月6日消息，据国家知识产权局公告，北京君正集成电路股份有限公司申请一项名为“一种基于PyTorch的zero插值的上采样方法“公开号CN117521760A,申请日期为2022年7月。专利摘要显示，本发明提供一种基于PyTorch的zero插值的上采样方法，所述方法包括以下步骤：好了吧！
∩０∩
【环球网科技综合报道】9月7日消息，Graphcore®(拟未)日前宣布加入PyTorch基金会(PyTorch Foundation),旨在与深度学习社区建立更紧密的联系，更好地开展开源PyTorch框架和生态系统方面的合作。资料显示，PyTorch基金会是开源软件、硬件、标准和数据协作组织Linux基金会的一部神经网络。
IT之家10 月18 日消息，PyTorch 基金会官网今日宣布，华为加入PyTorch 基金会，成为中国首个、全球第十个PyTorch 最高级别Premier 会员。官方博客称，华为长期以来一直是PyTorch 生态系统的支持者和贡献者，通过推进多样性算力支持与改进，帮助更多厂商后端能够更加轻松地接入P还有呢？
≥▂≤
近日，蚂蚁集团向自研的GPU显存+传输优化开源项目GLake上集成了一种高效的动态显存组合技术框架——GMLake,同时宣布GMLake已被深度学习主流框架PyTorch集成，对上层模型代码和框架代码完全透明，模型不需要修改任何代码即可使用。据介绍，GMLake能够在大模型训练、推理后面会介绍。
≥＾≤
10月18日，PyTorch基金会正式宣布华为作为Premier会员加入，这也是中国首个、全球第十个PyTorch基金会最高级别会员。最新的这则动态颇有意味，透露着华为在升腾发展上的最新思路以及生成式AI上的野心。PyTorch是全球最知名的AI框架之一，由Meta推出，在2016年就已经开源。本文是什么。
˙０˙
发表评论