大滝厚・堀江宥治・Dan Steinberg(1998)応用2進木解析法-CARTによる-.日科技連出版社.
の中でブートストラップの命名由来のコラムがある(「閑話休題」靴紐.p.139).以下に引用してみよう.

 CARTで使われる交差検証法 ( cross-validation ) は,別名ブートストラップ・サンプリング ( bootstrap sampling ) といわれることがある.このbootstrapは,革製長靴用の「編上げ紐」を指しているほかに,「他人の助けを借りないで自分でやる」という意味もある(Microsoft/Shogakukan Bookshelf, 国語大辞典).
 データセットの全体を靴紐,福次サンプルを,靴のフックとフックの間にある部分的紐に喩える.そして,手持ちのデータセットを小分けにして,あるときは学習用に,またあるときには検証用のサンプルとして交互に使い分け,新しいデータを使うことなく誤分類率や標準誤差を,靴紐を編上げるようにして推定する考え方を,「他人の助けを借りないで自分で,靴紐を交互にフックにかけて編上げていく」さまと同じであると気付いてbootstrapという用語を使ったのだという.これは,あるとき, Charles J. Stone 教授から聞いた話の受け売りである.

このような説明は,他にも何処かで読んだような気がするが,Stone は Efron に直接聴いた話として紹介しているのだろうか?.

cross-validation に対する邦訳はおよそ2つある.
(1)交差妥当化
(2)相互検証法
である.クロスバリデーションを広義にとらえると,その具体的方法は,おそらく3つあり
(1)ホールドアウト法
(2)ジャックナイフ法
(3)ブートストラップ法
である.
ホールドアウトは標本をランダムに2分割し,一方をモデル構成(母数の推定)に使い,そこで得たモデル(母数)を他方のデータに対しては適用し,モデルの良さを検証する.簡単なので判別分析を中心に昔から実施されていたが,標本サイズがかなり(分割しても十分に)大きい必要がある.狭義にはこれをクロスバリデーションという.
ジャックナイフは,複数の方法がある.判別分析などでは,標本サイズ n のデータセットに対して, n-1 個を使ってモデル構成して,残しておいた1個のデータに対してモデルを適用して結果を判定する−−という作業を順番にn回実施する.
ブートストラップは,標本サイズ n のデータセットから,同じくサイズ n の新しい標本を復元抽出して母数を推定する−−という作業をB回(通常はB=2000程度)実行する.

「他人の助けを借りないで自分で,靴紐を交互にフックにかけて編上げていく」という比喩はジャックナイフにはふさわしいと感じることができるが,ブートストラップに対しては違和感がある.