阅读,与值得关注的内容Readance

从 Attention 到 Relation:深入理解 Token 到底应该怎么流动?

文章摘要

Relation2效果很好,通过再次“掀桌子”:把FFN接口干掉。相同的小参量下,已经能压MHA接近9%的PPL了

正文暂不可用。

原文链接暂不可用。

可以返回作者主页,看看其他文章。

查看作者的更多文章 →