データサイエンス学習 欠損値の扱いを小さなデータで検証する方法

IT・プログラミング

※本記事は広告・PRを含み、アフィリエイトリンクが含まれる場合があります。商品の紹介は執筆者の見解に基づいています。

データサイエンスを学び始めると、必ずと言っていいほど「欠損値」という壁にぶつかります。現実のデータには穴があるものです。しかし「どう埋めればいいのか」「そもそも埋めていいのか」と悩む方は多いのではないでしょうか。この記事では、小さなデータセットを使って欠損値処理の手法を実際に比較・検証する方法をわかりやすく解説します。

この記事でわかること

  • 欠損値が生まれる仕組みと3つのパターン
  • 小規模データに向いた補完手法とその選び方
  • 手法ごとの効果を比較・検証するための実践ステップ

本記事の内容は一例であり、理解度や学習環境によって成果には個人差があります。


欠損値とは何か|発生の仕組みを理解することが第一歩

欠損値処理を学ぶとき、多くの人がいきなり「どの手法を使うか」に飛びつきがちです。しかし、実践者の間では「なぜ欠損が起きたのかを理解してから手法を選ぶことが大切」とされています。

欠損値の発生メカニズムは、統計学の文脈で次の3つに分類されます。

  • MCAR(Missing Completely At Random):欠損がまったくランダムに発生している状態。アンケート用紙の一部が印刷ミスで空欄になったケースなどが例として挙げられます。
  • MAR(Missing At Random):欠損の発生が、他の観測済み変数に依存している状態。たとえば「高年齢層ほど収入欄を空欄にしやすい」場合、年齢という変数が欠損と関連しています。
  • MNAR(Missing Not At Random):欠損の発生が、欠損している値そのものに依存している状態。「収入が低い人ほど収入を書かない」場合はMNARに該当し、最も対処が難しいとされています。

小規模データでこのメカニズムを誤解したまま処理を進めると、モデルに意図しないバイアスが生じる可能性があります。まずはデータの背景を確認するところから始めてみてください。


小さなデータで検証する意義|なぜ大規模データでは見えにくいのか

「欠損値の影響を体感する」という観点では、大規模データよりも100〜300行程度の小さなデータセットのほうが学習効果が高い傾向があります。

理由は次のとおりです。

  • 処理前後のデータをスプレッドシートや簡易な可視化でそのまま比較できる
  • 補完した値が実際の分布にどう影響しているかを目で確認しやすい
  • 計算コストが低く、複数の手法を素早く試せる

たとえば、学習用として公開されているirisデータセット(150行)や、Titanicデータセットの一部を切り出したサブセットは、欠損値検証の練習に活用しやすいデータとして知られています。

はじめから複雑なデータを使おうとすると、欠損値以外の要素(カテゴリ変数の扱い、外れ値など)に気を取られてしまいます。まずシンプルなデータで手を動かすという順序がおすすめです。


主要な欠損値補完手法の比較|選択の基準を整理する

欠損値を補完する手法は多岐にわたります。以下に代表的な手法を比較した表を示します。

手法 概要 小規模データへの適性 注意点
リストワイズ削除 欠損を含む行ごと削除 △(情報損失が大きい) データ数が少ないとモデルが不安定になりやすい
平均値補完 欠損値を列の平均で埋める ○(シンプルで実装が容易) 分散が過小評価される傾向
中央値補完 欠損値を中央値で埋める ○(外れ値に強い) 平均値補完と同様に分布がつぶれやすい
最頻値補完 カテゴリ変数に有効 ○(カテゴリ変数向き) 連続値には不向き
k-NN補完 近傍サンプルから推定して補完 ○(精度が出やすい) kの設定次第で結果が変わる
多重代入法(MICE) 複数の補完結果を統合する手法 △(実装がやや複雑) 小規模データでも有効だが学習コストが高い
回帰補完 他変数を使って回帰モデルで推定 ○(変数間の関係を活用) 過学習に注意が必要

小規模データで最初に試してみるとしたら、中央値補完またはk-NN補完から始めるのがひとつの入口として選ばれる傾向があります。シンプルな手法で結果を確認してから、より精度の高い手法へと移行していく流れが理解しやすいためです。


検証ステップの実践|小さなデータで手を動かす

ここでは、Pythonと代表的なライブラリを使った検証の流れを紹介します。コードそのものよりも「どのステップで何を確認するか」を意識してみてください。

ステップ1:欠損値の可視化

まずは欠損の分布を把握します。

import pandas as pd

df = pd.read_csv('sample_data.csv')
print(df.isnull().sum())

各列の欠損数を確認したあと、missingnoライブラリのヒートマップを使うと「どの列の欠損が連動しているか」を視覚的に把握できます。

ステップ2:複数の補完手法を適用する

from sklearn.impute import SimpleImputer, KNNImputer

# 平均値補完
mean_imputer = SimpleImputer(strategy='mean')
df_mean = pd.DataFrame(mean_imputer.fit_transform(df), columns=df.columns)

# k-NN補完
knn_imputer = KNNImputer(n_neighbors=3)
df_knn = pd.DataFrame(knn_imputer.fit_transform(df), columns=df.columns)

ステップ3:補完後の分布を元データと比較する

補完前後でヒストグラムを描き、分布の形が大きく変わっていないかを確認します。分散が著しく小さくなっている場合は、補完によってデータの多様性が損なわれているサインです。

ステップ4:交差検証でモデル性能を評価する

補完したデータセットを使って簡単な分類・回帰モデルを構築し、交差検証(Cross-Validation)でスコアを比較します。

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier

scores_mean = cross_val_score(RandomForestClassifier(), df_mean.drop('target', axis=1), df_mean['target'], cv=5)
scores_knn = cross_val_score(RandomForestClassifier(), df_knn.drop('target', axis=1), df_knn['target'], cv=5)

print(f"平均値補完: {scores_mean.mean():.3f}")
print(f"k-NN補完: {scores_knn.mean():.3f}")

小規模データでは5分割交差検証(5-fold CV)が参考として使われることが多いとされています。ただし、データ数が極端に少ない場合(50行以下など)は、Leave-One-Out CVも視野に入れてみてください。


体験から学ぶ|「とりあえず平均補完」が引き起こすこと

あるデータ分析の練習をしていたとき、欠損を含む数値列を何も考えずに平均値で補完したことがありました。モデルの精度は「そこそこ」だったのですが、後から補完前後の分布を比較してみると、特定の変数の分散が補完前の半分以下に縮んでいることに気づきました。

原因はシンプルで、欠損が30%以上に及ぶ列に平均補完をかけたことで、その列の値の多くが「平均値」に張り付いてしまったためです。その後k-NN補完に切り替えたところ、分布の形が元データに近くなり、モデルの評価スコアも改善される傾向が見られました。

この経験から学んだのは、補完はゴールではなく、データの質を保つための手段だということです。処理後にかならず分布を確認する習慣を持つことを、ぜひ実践してみてください。


データサイエンティスト検定との関連|欠損値処理はどこで問われるか

社会人がデータサイエンスの学習成果を示す指標として、データサイエンティスト検定(DS検定)を目指す方が増えています。

データサイエンティスト協会の公式発表によると、直近の試験結果は以下のとおりです(出典:データサイエンティスト協会公式サイト)。

  • 第12回(2026年3月実施):受験者数約2,400名、合格者数1,001名
  • 第11回(2025年11月実施):受験者数約3,560名、合格者数1,529名

DS検定のカリキュラムには、データの前処理・品質管理に関する内容が含まれており、欠損値の種類(MCAR・MAR・MNAR)や補完手法の基本的な考え方は、学習の柱となるトピックのひとつです。

資格取得を目指す方が体系的にデータサイエンスを学ぶ選択肢として、

🎓 アガルート データサイエンス講座
公式講座 / 詳細・受講料は公式サイトをご確認ください
講座ページを見る →
のような通信講座も参考になるでしょう。自分のペースで学習を進めながら、欠損値処理のような実践的なスキルを体系的に身につけていくアプローチは、社会人の学び直しに合っている傾向があります。

参考書籍として、

📖 Pythonデータサイエンスハンドブック に関連する書籍
楽天ブックスで検索 →
はPandasやscikit-learnを使ったデータ前処理の解説が充実しており、欠損値補完の実装方法を体系的に学びたい方に定番として選ばれる傾向があります。また、
📖 データ解析のための統計モデリング入門
久保 拓弥 / 岩波書店
4,180円 / 楽天ブックス / ★4.1(28件)
商品ページを見る →
は、欠損データの理論的な背景を理解する上で参考になる一冊です。


学習ロードマップ|欠損値処理を体系的に身につける順序

欠損値処理を学ぶ順序として、以下のステップを参考にしてみてください。

  1. 欠損値の発生メカニズム(MCAR・MAR・MNAR)の概念を理解する
     → 理論を知らないと手法の選択に迷いやすくなります。

  2. 削除・平均補完・中央値補完などシンプルな手法を実装してみる
     → Pandasのfillna()やdropna()で手を動かしてみてください。

  3. 補完前後の分布変化を可視化して確認する
     → ヒストグラム・箱ひげ図を使うと直感的に理解が深まります。

  4. k-NN補完やMICEなど高度な手法を試す
     → scikit-learnのKNNImputerやIterativeImputerが活用できます。

  5. 交差検証でモデル性能への影響を比較する
     → 手法ごとのスコア差を数値で確認することが理解を深めるきっかけになります。

  6. 実務に近いデータセットで同じ流れを繰り返す
     → Kaggleの入門コンペのデータなどが練習に活用されることがあります。


まとめ|次のアクション

欠損値処理は「何となく穴を埋める」作業ではなく、データの性質を理解したうえで選択するスキルです。小さなデータセットで手を動かし、補完前後の分布やモデルスコアの変化を自分の目で確認することが、最も理解を深める学習法のひとつといえます。

今日からできる次のアクションとして、以下を試してみてください。

  • Pandas・scikit-learnを使って、小さなCSVデータで欠損補完を実装してみる
  • 補完前後のヒストグラムを描いて、分布の変化を確認してみる
  • DS検定のシラバスを確認して、欠損値関連トピックの出題範囲を把握してみる
  • 🎓 アガルート データサイエンス講座
    公式講座 / 詳細・受講料は公式サイトをご確認ください
    講座ページを見る →
    などの通信講座で体系的な学習環境を検討してみる

データサイエンスの学習は積み重ねが大切です。欠損値処理をひとつの突破口として、実践的なスキルを少しずつ広げていきましょう。


免責事項

本記事は情報提供を目的としており、特定のサービスを推奨するものではありません。試験情報や合格率などのデータは執筆時点の情報であり、最新情報は各主催団体の公式サイトをご確認ください。本記事の内容は一例であり、理解度や学習環境によって成果には個人差があります。


※本記事にはアフィリエイトリンクが含まれています。リンク経由で購入しても読者に追加費用は発生しません。