神经网络与注意力

学习神经网络、Transformer、注意力与表示学习,适合补基础的读者。

52 条精选 · 入门 5 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 48深入
    项目发布 10-27
    Reddit

    Deepity:一个手工调优的 C++/CUDA 预测编码库,在 MNIST 上超过 jpc(JAX)和 ngc-learn(含 CPU 基准与源码)[P]

    Deepity: a hand-tuned C++/CUDA predictive coding library, beats jpc (JAX) and ngc-learn on MNIST (CPU benchmarks + source inside) [P]

    这是一篇 [P] 类社区发布帖,作者用 C++20 从零实现预测编码(PC)引擎并配薄 Python 层,发布首个公开版本。帖中介绍了预测编码与反向传播的区别(各层本地信念对自上而下预测做误差最小化、需“settling”阶段、不保存反向计算图),以及库的组成:手写 AVX2/AVX-512 SIMD 内核、OpenBLAS/MKL 做 GEMM、仍在调优的 CUDA 后端(暂不可用)、基于 nanobind 的 Python 绑定(pip install pydeepity),并支持多种 PCN 变体;帖子称在 MNIST 上优于 jpc(JAX)与 ngc-learn,并附带 CPU 基准和源码。适合研究预测编码、非反向传播训练方法与底层内核优化的人阅读。

模型原理与训练的其他细分主题