❏ 站外平台:

硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型

作者: Linux中国 硬核老王

| 2022-05-08 17:57   评论: 2 收藏: 1    

Facebook 开源挑战 GPT-3 的语言模型

OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一,使用了 1750 亿个参数,但它至今没有开源,只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta 开源了能挑战 GPT-3 的语言模型开放式预训练变换模型 OPT-175B,使用了能比拟 GPT-3 的 1750 亿个参数。作者们在论文中说,“考虑到计算成本,如果没有大量资金,这些模型很难复制。对于少数通过 API 可调用的模型(暗指 GPT-3),如果不能获得完整的模型权重,就难以进行研究。……因此,我们推出了 OPT(这是一个只有解码器的预训练变换模型)……”

消息来源:ieee

老王点评:在这件事上,Meta 真的很棒,只有开源才能真正推动 AI 的发展。

RTX 30 全系显卡挖矿限制遭破解

去年,为了遏制游戏显卡被用于挖矿,英伟达限制了新上市 RTX 30 系列显卡的算力水平,这批显卡被称之为 LHR(低哈希率)显卡。本周,NiceHash 宣布,继去年 8 月成功解锁 LHR 显卡 70% 的原始算力后,现在几乎 RTX 30 全系 LHR 显卡已经被 100% 破解。只有 RTX 3050 和RTX 3080 12GB,所需要的新算法还没完工。

消息来源:nicehash

老王点评:终究,显卡还是被用于挖矿了。

谷歌正在为 Linux 研究加密休眠支持

谷歌工程师正在研究安全地“在一些新的场景中启用休眠”。除了采取预防措施,确保恶意的用户空间不能利用休眠数据,谷歌安全团队也在强制要求加密休眠。谷歌现在正在研究基于内核的加密,支持使用 TPM 支持的密钥来加密休眠镜像,用 PCR 策略来密封加密密钥,以及其他工作来确保加密的休眠镜像可以被信任。

消息来源:phoronix

老王点评:这个倒是一直以来的一个薄弱点,虽然对于服务器意义不大,但对于桌面设备有意义。



最新评论

[1]
来自四川的 Mobile Safari 13.1|iOS 13.4 用户 发表于 2022-05-09 00:21 的评论:
如果只有开源才能真正推动 AI 的发展,那么 GPT-3 为啥会是目前最先进的语言模型之一?别乱点评啊
linux [Chrome 100.0|Mac 10.15] 2022-05-09 07:31 1 回复
这个问题我简单说一下,目前 GPT-3 已经被指出现了一些问题,甚至是违反法律的问题,而这些还不仅仅是用于训练的素材的问题,算法上可能也有一些倾向性问题。但是谷歌不开源,这是个黑盒。虽然 Facebook 开源的 OPT 也需要大量资源,尤其是高参数的那些,但是至少会有更多人和机构可以参与改进。关于此事,建议可以看看我链接的原文和原论文的论述,这也是他们开源的原因。

返回顶部

分享到微信

打开微信,点击顶部的“╋”,
使用“扫一扫”将网页分享至微信。