OpenAIが出したGPT-2の論文中でtrainデータセットとtestデータセットの間で重複したデータが無いか確かめるためにBloom filterを使ったと述べられている。 Bloom filterは与えられた集合に、ある要素が含まれるかを判別するデータ構造である。要素が無いと判…

とすると、 はxを極少量増加させたときのyの増加量を表す（増加量が負になることもありえることに注意）。なので、yが損失だった場合にyを最小化するためにはxからを引けばyを減少させることができる。 ここでは変数xのyへの影響度の大きさと考えることがで…