Cross-Layer AttentionによってTransformerのメモリを大幅に削減
Cross-Layer AttentionによってTransforme ...
Transformer
モデル圧縮
【SA-FedLoRA】フェデレーテッドラーニングの通信コスト削減手法
【SA-FedLoRA】フェデレーテッドラーニングの通信コスト削減手法
medical
圧縮センシング革命：自動検証アルゴリズムが証明するニューラルネットワークの正確性
圧縮センシング革命：自動検証アルゴリズムが証明するニューラルネットワー ...
Neural Network
【BitNet b1.58】モデルパラメータを3値で表現しLlama以上の精度を達成！？
【BitNet b1.58】モデルパラメータを3値で表現しLlama以 ...
Large language models
アップルがメモリ容量が限られたデバイス上で効率的な大規模言語モデルの推論を実現
アップルがメモリ容量が限られたデバイス上で効率的な大規模言語モデルの推 ...
Large language models
I-ViT：ViTを整数型で計算！？I-BERTの技術を進化させたShiftmax、ShiftGELUも登場！
I-ViT：ViTを整数型で計算！？I-BERTの技術を進化させたSh ...
Transformer
ImageNet事前学習モデルのプルーニングは下流タスクでどのように機能するか？
ImageNet事前学習モデルのプルーニングは下流タスクでどのように機 ...
Pruning
IoTデバイス上で実行するニューラルネットのアーキテクチャ探索手法
IoTデバイス上で実行するニューラルネットのアーキテクチャ探索手法
NAS
Unconditional-GANのモデル圧縮
Unconditional-GANのモデル圧縮
GAN（敵対的生成ネットワーク）
重みやノードではなく層をDropout！『LayerDrop』の提案
重みやノードではなく層をDropout！『LayerDrop』の提案
Dropout
GANをスマホで動かす！圧縮手法の組み合わせで軽量化、「GAN Slimming」
GANをスマホで動かす！圧縮手法の組み合わせで軽量化、「GAN Sli ...
GAN（敵対的生成ネットワーク）
「貧者のためのBERT」：複雑なモデルを単純な手法で軽量化し、限られたリソースで最大限のパフォーマンスを発揮する技術！
「貧者のためのBERT」：複雑なモデルを単純な手法で軽量化し、限られた ...
Pruning