跨层关注大大减少了变压器内存
跨层关注大大减少了变压器内存
Transformer
模型压缩
![[SA-FedLoRA] 降低联合学习通](https://aisholar.s3.ap-northeast-1.amazonaws.com/media/October2024/sa-fedlora-520x300.png)
[SA-FedLoRA] 降低联合学习通信成本的方法
[SA-FedLoRA] 降低联合学习通信成本的方法
医疗
压缩传感革命：自动验证算法证明了神经网络的准确性
压缩传感革命：自动验证算法证明了神经网络的准确性
神经网络
![[BitNet B1.58] 模型参数用](https://aisholar.s3.ap-northeast-1.amazonaws.com/media/August2024/bitnet_b1.58-520x300.png)
[BitNet B1.58] 模型参数用三个值表示，精度优于 Llama！
[BitNet B1.58] 模型参数用三个值表示，精度优于 Llam ...
大型语言模型
苹果公司在内存容量有限的设备上实现高效的大规模语言模型推理
苹果公司在内存容量有限的设备上实现高效的大规模语言模型推理
大型语言模型
I-ViT：以整数类型计算 ViT！此外，还提供由 I-BERT 技术发展而来的 Shiftmax 和 ShiftGELU！
I-ViT：以整数类型计算 ViT！此外，还提供由 I-BERT 技术 ...
Transformer
ImageNet预学习模型的修剪在下游任务中是如何进行的？
ImageNet预学习模型的修剪在下游任务中是如何进行的？
剪枝
在物联网设备上运行的神经网路的架构探索方法。
在物联网设备上运行的神经网路的架构探索方法。
纳斯达克
无条件的GANs的模型压缩
无条件的GANs的模型压缩
生成对抗网络(GAN)
"LayerDrop "提议；Dropout层，而不是权重或节点！
"LayerDrop "提议；Dropout层，而不是权重或节点！
辍学
手机上实行GAN! 结合压缩技术减重，"GAN瘦身"
手机上实行GAN! 结合压缩技术减重，"GAN瘦身"
生成对抗网络(GAN)
BERT For The Poor：用简单的技术降低复杂模型的权重，用有限的资源实现性能最大化的技术!
BERT For The Poor：用简单的技术降低复杂模型的权重，用 ...
剪枝