硬核观察 #1012 Meta 公布革命性可扩展模型架构 Megabyte

2023-05-25 18:20


Meta 公布革命性可扩展模型架构 Megabyte

如今热捧的生成式 AI 模型,如 GPT-4 等,都是基于谷歌 2017 年提出的转换器Transformer架构。Meta 的研究人员认为该架构存在两大设计缺陷:其一,转换器模型需要关注所有令牌,当需要处理的令牌数以千计时,计算非常密集。其二,采用了串行计算模式,存在扩展性难题。Meta 公司发表论文,提出了一种革命性的可扩展模型架构 Megabyte。它将输入输出序列分割为“补丁”而不是“令牌”。Megabyte 可以并行进行计算,在每个补丁中,局部 AI 生成结果,全局模型负责协调所有补丁的最终输出,从而解决了扩展性问题。测试显示,有 15 亿参数的 Megabyte 模型比有 3.5 亿参数的转换器模型生成序列快 40%。Megabyte 模型能支持最多 120 万个令牌,相比下 GPT-4 是 3.2 万个令牌,Claude 是 10 万个令牌。

消息来源:Artisana

老王点评:令人称奇的是,在这次 AI 竞赛中,Meta 频繁地爆出新成果,虽然目前还不能完全盖住 OpenAI 和微软的风头,但是给人的感觉很有希望。

PyPI 向法庭提供了用户记录

Python 软件基金会披露,它根据美国司法部的要求提供了其软件包仓库 PyPI 的用户数据。法庭传票要求提供 5 个用户的用户名、网名、邮寄地址、公司地址、电子邮件地址、连接记录,会话时间和持续时长以及相关 IP 记录,以及,他们上传的 PyPI 软件包记录和这些软件包的下载 IP 日志等等。Python 软件基金会在与律师讨论之后满足了传票要求。

消息来源:Python 软件基金会

老王点评:说起来,这些软件基金会和软件仓库都没有受我国法律管辖的吧。

Thunderbird 发布全新徽标

在将近二十年之后,Thunderbird 项目发布了全新徽标。新徽标与 Mozilla Firefox 浏览器的徽标风格相似,开发者表示这是为了纪念其历史和与 Mozilla 的重要联系,向下一个 20 年前进。该徽标的设计师也是 Firefox 和 Thunderbird 原徽标的设计者。

消息来源:Thunderbird

老王点评:我觉得不如原来的好看,不过这不重要,重要的是,Thunderbird 终于有了更多实质性的改进,比如提供移动版本。