ALBERT 的主要创新点有哪些？为什么能更轻量？

What are ALBERT’s key innovations and why is it lighter?

题目类型: 技术面试题

这是一道技术面试题，常见于澳洲IT公司面试中。

难度: medium

分类: Machine Learning, NLP

标签: ALBERT, parameter-sharing, transformer, pretraining

参考答案摘要

答案 ALBERT 的核心目标是“降参数、提效率、尽量不掉效果”。主要创新点我会讲三条： Factorized Embedding Parameterization ：把词表 embedding 的维度与隐藏层维度解耦（例如先用较小的 embedding 再投影到 hidden），词表很大时可显著减少参数。 Cross-layer Parameter Sharing ：多层 Transformer...

本题提供 STAR 原则详细解答和技术解析，登录匠人学院学习中心即可查看完整答案。