神经网络与深度学习

📊 课程难度与压力分析

COMP9444 的难度属于‘数学推演与代码实战的极限平衡’。难点在第二周的反向传播（Backpropagation），你需要手推多层张量的链式法则偏导数，如果你的矩阵维度对不上，你的理论大厦会瞬间崩塌。压力主要来自于 Major Project，你需要从零开始调优一个深度网络，如果你的学习率（Learning Rate）设得不好，你的损失曲线（Loss Curve）会由于发散而让你在提交前想哭。及格极其容易（因为 PyTorch 封装得很好），但拿 HD 需要你对‘为什么这个架构有效’有数学层面的深刻见解。挂科风险显著存在于对‘梯度消失’根本原因的模糊认知上。

🎯 备考重点与高分策略

高分秘籍：‘得反向传播推导者得 Distinction，得注意力机制理解者得 HD’。期末考试中，手算一个一维卷积层的输出或推导 Softmax 与交叉熵结合后的偏导数是必考的大题。一定要练到能秒识别‘不同激活函数的梯度饱和区’。重点攻克‘Transformer 中 Q, K, V 矩阵的物理含义’，那是区分普通调包侠与顶级 AI 算法架构师的标志。备考时，教材《Deep Learning》(Goodfellow) 是圣经。对于项目，HD 的关键在于‘消融实验 (Ablation Study)’——不仅给结果，还要证明去掉某个层后模型表现会变差。重视 Tutorial 里的每一道权重初始化证明题。

📚 学习建议与资源推荐

神级资源：Stanford 的 CS231n 和 CS224n，以及李沐的‘动手学深度学习’。如果反向传播理解不了，强烈推荐去 YouTube 搜‘3Blue1Brown - Neural Networks’系列。最重要的建议：养成‘先推公式，再看 API’的习惯。利用好学校提供的‘VLAB’或‘Google Colab’进行 GPU 训练。学会使用‘Weights & Biases’进行实验版本管理。加入 UNSW AI Society。

⚠️ 作业与 Lab 避坑指南

项目避坑：千万不要在第 10 周才跑模型训练！深度学习的随机性意味着你可能需要数十次训练才能找到最优参数。Assignment 写作中，严禁只贴训练曲线，必须写出你的‘错误分析报告’——为什么模型在某些类别上识别率低？此外，注意 Final 考试有 Hurdle，关于‘不同层的作用定义’的基础题如果错太多会直接挂。考试时，画出的网络拓扑图必须清晰标准。注意：分清‘L1 正则化’导致稀疏性与‘L2 正则化’权重平滑的代数本质差异。

💬 过来人经验分享

学长建议：这门课是为你进入顶级大厂（如 Google、OpenAI）或互联网巨头 AI 实验室拿的‘智能通行证’。学完后，你眼中的数据不再是冷冰冰的行与列，而是一个由高维特征空间、非线性映射和梯度下降驱动的智能演化体。建议找一个同样追求‘算法黑盒透明化’的队友共同打磨程序。拿 HD 的关键：在报告中展现出你对‘模型泛化界限’的深刻见解。坚持住，通关 9444，你就真正跨过了从经验主义到联结主义人工智能的那道认知红线。这张成绩单是进入 AI 行业最有力的逻辑背书。记住：深度学习不是炼金术，是微积分的终极美学。