知識蒸留で効果的な教師の条件とは？
知識蒸留で効果的な教師の条件とは？
knowledge distillation
マルチモーダル・エンドツーエンド・トランスフォーマー
マルチモーダル・エンドツーエンド・トランスフォーマー
Transformer
自己教師あり学習へのバックドア攻撃
自己教師あり学習へのバックドア攻撃
backdoor attack
視覚認識モデルにおける弱教師あり事前学習について再検討する
視覚認識モデルにおける弱教師あり事前学習について再検討する
画像認識
CNNのカーネルサイズは大きくするべきか？
CNNのカーネルサイズは大きくするべきか？
論文
ImageNet事前学習モデルのプルーニングは下流タスクでどのように機能するか？
ImageNet事前学習モデルのプルーニングは下流タスクでどのように機 ...
Pruning
自己教師あり対照学習が成功するために必要なデータセットの条件とは？
自己教師あり対照学習が成功するために必要なデータセットの条件とは？
dataset
バッチ正規化のアフィンパラメータはFew-Shot学習で有害になりうる！？
バッチ正規化のアフィンパラメータはFew-Shot学習で有害になりうる ...
Few-Shot
小規模ニューラルネットワークはネットワークをAugmentationすべき！？
小規模ニューラルネットワークはネットワークをAugmentationす ...
Regularization
HTMLデータでも言語モデルの事前学習が可能！？
HTMLデータでも言語モデルの事前学習が可能！？
natural language processing
EXT5：転移学習のための極端なマルチタスクスケーリング
EXT5：転移学習のための極端なマルチタスクスケーリング
natural language processing
テスト精度はGANサンプルから推測できる！？
テスト精度はGANサンプルから推測できる！？
GAN（敵対的生成ネットワーク）
言語モデルのZero-Shot性能を高めるFine-Tuning
言語モデルのZero-Shot性能を高めるFine-Tuning
zero shot
継続学習における事前学習言語モデルを比較する
継続学習における事前学習言語モデルを比較する
continual learning
コスト指標は必ずしも適切か？
コスト指標は必ずしも適切か？
論文
破局的忘却におけるモデルと事前学習スケールの効果
破局的忘却におけるモデルと事前学習スケールの効果
continual learning
いつ、なぜ、どの事前学習GANが役立つのか？
いつ、なぜ、どの事前学習GANが役立つのか？
GAN（敵対的生成ネットワーク）
言語モデルは非言語概念空間にgroundingできるか？
言語モデルは非言語概念空間にgroundingできるか？
論文