R-OJISAN

[小特集] 統計入門
付録「Azure NoteBooks に触ってみよう」
h.nayuta ‥‥‥‥‥ 4
R ではじめるマーケティング・リサーチ入門
h.nayuta ‥‥‥‥‥ 10
R による統計検定入門
～t 検定から多重比較検定の紹介まで～
S.A.S. ‥‥‥‥‥ 27
生態学の R
ある野生動物の生息量をエサの量で説明してみる
nat ‥‥‥‥‥ 44

[話題]
power-law
N.Yamakawa ‥‥‥‥‥ 48
通路制約を考慮した巡回セールスマン問題を
遺伝的アルゴリズムで解いてみる
matchbou ‥‥‥‥‥ 54
[特集] 回帰分析
R_uncle_lmplot N.Yamakawa ‥‥‥‥‥ 66
<執筆者/おすすめの文献> ‥‥‥‥‥ 83
<謝辞> ‥‥‥‥‥ 86
編集 = h.nayuta

この付録は、「R をインストールしていない」「Jupyter Notebook の
ことを知らない」人が気軽に R を始めることが目標です。Azure
Notebooks を使って、R に触れる環境を知りましょう。
Azure Notebooks について
Azure Notebooks とは、Microsoft の提供する Web サービスです。
名前の通り、テキストエディタのような見た目をしていますが、R
言語のようなスクリプト（プログラム）を実行することができます。
Python でよく使われる、Anaconda 環境における Jupyter Notebook
でも、R 言語を使うことはできますが、多少のカスタマイズが必要
です。*1
さて、Azure はクラウドサービスですので、オンライン環境が必要
です。本節は、インターネットのつながる環境で試してみてくださ
い。
*1 Azure Notebooks も Jupyter を利用しています。使い方に慣れたら、自分に
合う Jupyter 環境を選んでみると良いでしょう。
Azure Notebooks にアクセスしよう
Microsoft Azure Notebooks の公式ページ
（https://notebooks.azure.com/）にアクセスしましょう。基本的
には、自分のアカウントにサインインするのですが、今回はサンプ
ルページを見てみましょう。
付録 Azure NoteBooks に触ってみよう
h.nayuta
R-OJISAN GODO SHI Vol. 1 4

サンプルファイルを開こう
「Get Started」を押すと、Azure Notebooks の
Microsoft >Libraries > samples
にある、サンプルページに繋がります。ここでは、様々な言語で書
かれたサンプルファイル（ノートブック）を見ることができます。
例えば、R の場合は「Introduction to R.ipynb」*2 です。まずはク
リックしてみましょう。スクリプトと、その実行結果であるグラフ
などが描かれたページが表示されることでしょう。これがノートブ
ックです。
*2 ipynb は Jupyter Notebook 形式で保存されたファイルの拡張子です。

本章は、企業で求められるマーケティング・リサーチについて、「実
務に基づき」「全体の流れを解説する」ことに注力しました。
主な対象者は、メーカーの企画部や広告代理店に興味のある、文系
の学生または社会人の方ですが、日頃、マーケティングに縁遠いエ
ンジニアの方にも、コラムを楽しんで頂ければと思います。
本章では、簡単な集計・分析を行いますので、付録に引き続き、
Azure Notebooks 上で、R を実行します。R を使った演習内容は、
ローデータの読み込み、GT 表の作成、クロス集計、グラフ作成と
なります。*1
調査についての基礎知識は、実務に最低限必要なポイントに絞って
解説を行います。市場調査についての書籍は多くありますので、興
味を持った方は専門書を参考にしてください。*2
*1 以下の URL に、簡易なサンプルファイルを用意します。
https://github.com/h-nayuta/R-ojisan
サンプルファイル提供は、予告なく終了することがあります。
*2 本章は、以下の文献を参考にしています。
社会調査へのアプローチ[第 2 版]論理と方法
R ではじめるマーケティング・リサーチ入門
h.nayuta

1 マーケティング・リサーチが必要なシーン
近頃、マーケティング・リサーチや市場調査という言葉に対し、ネ
ガティブな印象をお持ちの方がいらっしゃるように感じます。消費
者にとって、広告や販売戦略が不公正である、影響が過大と感じる
ケースがあることが、背景にあるのかもしれません。
まずは、漠然としたイメージではなく、実際の企業活動として「マ
ーケティング・リサーチ」を捉えてみましょう。
◆事例
1）売上を分析するとき
とあるビールメーカーの売上が不調だとして、「ビールそのものが
流行っていない」「自社の主力ブランドが飽きられた」「他社の新ブ
ランドが一人勝ちしている」など、様々な理由があります。戦略を
立てるには、原因の調査が必要です。
2）世の中の流行を分析して、製品の企画を行うとき
2018 年は「チョコミント」ブームでした。消費者に対し、好きな
フレーバーを調査し、「チョコミント」味のスイーツを食べたいと
いう、消費者のニーズを事前に捉えておくことが必要です。
3）企画内容の妥当性を検証するとき
企画と言っても、特別なキャンペーンばかりではありません。プロ
ダクトのパッケージデザイン、CM 案は、複数案を作ります。どの
案が最も、消費者に製品特徴が伝わるか、購買意欲をそそられるか
など、調査が必要です。

2 調査企画でやってはならないこと
前述のように、戦略的に企画・開発・販売を行うには、適切なマー
ケティング・リサーチが必須です。
しかし、実際にはマーケティング・リサーチがルーチン化し、慣例
でなんとなくやっているケースも珍しくありません。特に「不動の
定番商品がある」業界ではありがちです。
◆事例
1）過去の調査データを無視した調査票を作る
売上や流行の推移は、時系列でデータを追うことが重要です。時系
列データの取得を目的として、定期的に調査を行う「定点調査」の
場合は、設問が変わってしまうと、正確にデータを追うことができ
ません。
2）調査企画を見直さず、過去の調査票を使いまわす
先の理由から、むやみに設問は変えないほうが、適切に分析を行う
ことができるでしょう。しかし、前回の調査結果をもとに、消費者
に新しい意識が生まれていないかは常に見直すべきです。
今までマイナスと捉えられていたこと…例えば、いかにもアメリカ
ンな、どぎつい色合いのスイーツは、今まで日本にあまり馴染みが
ありませんでした。しかし、2018 年は若者の間で、レインボーカ
ラーのスイーツがヒットしました。来年からは若年層をターゲット
としたスイーツを調査する際には「カラフルであること」*3 をお
いしさの指標に加えても良いかもしれません。

*3 おいしさの指標に味覚以外の表現が含まれていることに、違和感をお持ち
になるかもしれません。「おいしさ」を構成する要素が何であるかは、調査企
画で定義します。マーケティング・リサーチ業界では、「おいしさ」とは五感
や感情で味わうものとして、見た目や匂い、食べたときにどんな気持ちを感じ
るかを調査することが、一般によくあります。
3 調査の種類とデータの尺度
次に、本章で取り扱う、調査とデータについて、簡単に解説します。
◆調査の種類
調査には大きく分けて、定性調査と定量調査があります。今回取り
扱うのは、数値として集計・分析できる、定量調査です。
1）定性調査
定量化しづらい質的データ、具体的にはインタビュー形式での聞き
取りや、アンケートの自由回答などを指します。アンケートの調査
票では、【FA】（=Free Answer）と表記することが多くあります。
2）定量調査
集計可能な量的データ、具体的にはアンケートの選択式の回答など
を指します。アンケートの調査票では、単一回答は【SA】（Single
Answer）、複数回答は【MA】（＝Multiple Answer）と表記するこ
とが多くあります。

1. はじめに
1-1. 統計学について
統計学は、「少ない一部のデータ」から全体の傾向を適切に推論す
ることを目的とした学問である。自然科学や社会学などの殆どすべ
ての実験や調査は統計学的に適切に設計することで信頼性を獲得
している。ゆえに、実験や調査を行なうためにも、誰かが行なった
実験や調査の結果を読み解くためにも、統計学を学ぶことは必須に
近い。積極的に実験や調査を行なう必要も読み解く必要もない場合
でも、統計学の素養は、怪しい話に騙されず、物事の本質を見抜け
る、力となってくれるだろう。
統計学の手法は、推定、検定、予測に大別される。
 推定: 少ない一部のデータ(標本と呼ぶ)から、全体(母集団と呼
ぶ)の傾向(基本統計量)を推測する手法のこと。
 検定: 仮説を立て、その妥当性を標本からの推定で検証し、仮
説の正誤の結論を導く手法のこと。
 予測: 標本から、予測をしたい応答変数と、その他の説明変数
との関係性の仮説を立て、その仮説に基づいて未知の応答変数
の推測を行なう手法のこと。
R による統計検定入門
～t 検定から多重比較検定の紹介まで～
S.A.S.

どの手法も重要であるが、今回ここでは、実験や調査を適切に行な
ったり読み解くために特に重要となる「検定」を取り上げる。フリ
ーソフトウェアである R を用いて、検定の学習を行なおう。R の入
手方法、操作方法については、他の章を参照にするか、参考書や参
考 WebPage を調べて頂きたい。
1-2. 検定が必要な状況の具体例
まず、検定の必要性を理解するために、検定が必要になる状況を具
体的に考えてみよう。
あなたは製品開発のためにダイエット効果のある食材を探してい
る研究者です。あなたは製品に用いる食材の候補を食材 A と食材 B
に絞りました。20 人の被験者を集め、1 週間、10 名の被験者には
食材 A を、残りの 10 名の被験者には食材 B を含んだ食事をしても
らいました。1 週間後、被験者たちの体重を量ったところ、食材 A
を含んだ食事をしてもらった被験者たちの体重の平均値は0.5kg減
っており、食材 B を含んだ食事をしてもらった被験者たちの体重
の平均値は 0.2kg 減っていました。
この結果から、あなたは、食材 A の方がダイエット効果が高いと
判断した。この判断は適切だったのでしょうか？

1-3. 先ほどの具体例の問題点
先の例で、食材 A の方がダイエット効果が高いと安易に判断を下
すと、誤った結論となる可能性が高い。例えば、以下のような疑問
が生じないだろうか。
 そもそも、結果の体重の減少は、被験者たちの日々の体重の増
減幅に収まる誤差の範囲ではないのか？
 体重減少の効果はあったとして、食材 A と食材 B の効果の差
は真実か？つまり効果の差は、選ばれた被験者の個人差に基づ
くものではないのか？
上記の２つの疑問をまとめると、以下のように言える。
平均値の差がどの程度あれば、差があるとみなせるか？
1-4. そこで統計検定
上記の疑問に答えることが出来る手法が統計検定である。上の例で
は、体重の値の平均値だけでなく、ばらつき度合い(分散)にも注目
し、平均値の差が偶然のばらつきから起こりうるかを検証すること
で、差があるとみなせるか否かを判断する。以下、実際に統計検定
を実行していこう。

2. データの統計的性質
2-1. R を使って、平均値と分散を算出しよう
フリーソフトウェアである R を用いて、統計検定を非常に簡潔に
行なうことが出来る。まず、統計検定を行なう上でも重要な基本統
計量である平均値と(不偏)分散値を算出してみよう。
# 被験者 10 人の体重のデータ
data1 <- c(60,55,71,64,80,49,63,75,66,57)
# mean 関数を用いた平均値の算出
mean(data1)
## [1] 64
# mean 関数を用いない(sum 関数と length 関数を用いた)平均値の算出
mean_data <- sum(data1)/length(data1)
mean_data
## [1] 64
# var 関数を用いた不変分散の算出
var(data1)
## [1] 89.11111
# var 関数を用いない(sum 関数と length 関数を用いた)平均値の算出
var_data <- sum((data1-mean_data)^2)/(length(data1)-1)
var_data
## [1] 89.11111

2-2. 検定を支える法則：大数の法則を体感しよう
少ないデータ(標本)から、全体(母集団)の基本統計量(平均値)を推
定できるのは、「標本のデータ数が増えるほど、その標本の平均は
母集団の平均に近付いていく」という大数の法則が存在するからで
ある。
大数の法則に従い、1~10 の数字が均等な確率で出るくじを引く場
合、くじ引きの回数が少ないときは、各数字が出る確率は不均一で、
くじ引きの回数が増えると、各数字が出る確率が均等になることを
確認しよう。
# くじ引き回数が少ない場合
Lottery1 <- 1:10
Small_samples <- sample(Lottery1, size = 100,replace=TRUE)
hist(Small_samples)

ある動物の生息に重要な要因として、エサの量が関係しているとい
う 1 つの仮説を R を使って検証した一例を紹介する。
フィールド調査
○動物 K のデータ収集
動物 K が生息している環境でいくつかの調査地を設定して、個体
数を目視でカウント。
調査時期は動物 K が活発で目撃しやすい春・秋の日中とした。
なお調査地は、動物 K が水田環境か否かによって個体数が異なる
ことが予想されたため、水田 2 種類、その他 2 種類の計 4 種類×3
地点で、合計 12 地点を選んだ。
○エサ生物のデータ収集
動物 K の調査と同じ調査地・時期において、任意の場所に 3 か所
の 1m×1m のコドラートを設置し、すべての無脊椎動物を採取。
動物 K が主食としているエサ S のバイオマス（生物量）を算出し
た。
なお各コドラートのデータは調査地ごとにプールして総量を使用
した。
生態学の R
ある野生動物の生息量をエサの量で説明してみる
nat

解析
○GLM（一般化線形モデル）
動物 K の個体数にエサ S の量、また生息地タイプ（水田か否か）
が影響しているかどうかを調べる。
目的変数を動物 K の個体数、説明変数をエサ S のバイオマスとし、
定数項として面積を加え、誤差構造を負の二項分布、リンク関数を
log とした一般化線形モデル（GLM）で解析した。
library(MASS)
result <- glm.nb(animalK ~ offset(area) + esaS + habitat_type, data=data)
summary(result)
GLM（負の二項分布）：
動物 K 個体数＝offset（調査地面積）＋エサ S 量＋生息地タイプ（水田かその他か）
※目的変数が動物 K の“個体数”そのままでは調査地の大きさの影
響を受けるため、offset 項で調査地ごとの面積を入れることで“個体
数密度”として扱う。
※なお今回はデータの分散が平均よりも大きかったため、負の二項
分布を用いた。過分散でない場合はポワソン分布が無難。

べき乗分布とは
近年注目されていて、研究が進んでいる確率分布のひとつに「べき
乗分布」があります。
個人的に興味を持ったのはトマ・ピケティの「21 世紀の資本」で、
ごく少数の人が世界の冨の大半を所有しているという不平等につ
いて記載していたことです。その後、オックスファムは、2017 年
1 月に発表した「99%のための経済」によれば、世界の冨の半数は
わずか 8 人が所有しているのです。
なぜ冨が偏在するかについては様々な議論がされていますが、資産
の分布に偏りがあることは紛れもない事実です。
他にも
 地震の大きさと発生頻度
 論文の数と引用された回数の関係
 戦争の発生頻度と戦死者数
なども同じような分布をしています。正規分布とは明らかに異なる、
ベキ乗分布に従っていることが分かってきました。ベキ乗分布と
は、そのため大きな値に向かって曲線は長くなだらかに裾野を伸ば
していきます。
さて、この分布ですが平均や分散が意味を持たない場合があるなど、
扱いが難しいのです。例えば、目的変数がべき乗分布に従う場合の
power-law
N.Yamakawa

回帰分析をする場合どうすれば良いか。こんな簡単な質問にも私が
ざっと調べた限りでは答えが見つかりません(不勉強なだけかもし
れませんが)。
では、どのように扱っていけばいいのか。まず、与えられたデータ
がべき乗分布に従うかのチェックから始めてみましょう。
poweRlaw パッケージ
R でべき乗分布を扱うなら poweRlaw パッケージを使うのが良いで
しょう。
library(poweRlaw)
パッケージに含まれている moby データをサンプルとします。これ
は小説「Moby Dick」に含まれる単語の分布だそうです。
data("moby")
hist(moby)

べき乗分布かどうかはわかりませんが、少なくとも正規分布はして
いなさそうです。
poweRlaw パッケージでは以下の 7 つの分布が用意されています。
 displ:離散べき乗分布
 dislnorm:離散対数正規分布
 dispois:離散ポアソン分布
 disexp:離散指数分布
 conpl:連続べき乗分布
 conlnorm:離散対数正規分布
 conexp:離散指数分布
moby が離散べき乗分布か離散対数正規分布のどちらかにしたがっ
ているのではないかと仮定して、パラメータ推定を行います。
m_pl <- displ$new(moby)
est_pl <- estimate_xmin(m_pl)
m_pl$setXmin(est_pl)
m_ln <- dislnorm$new(moby)
est_ln <- estimate_xmin(m_ln)
m_ln$setXmin(est_ln)
m_pois <- dispois$new(moby)
m_pois$setXmin(estimate_xmin(m_pois))
m_exp <- dispois$new(moby)
m_exp$setXmin(estimate_xmin(m_exp))

以下のような書架と通路の配置に於いて、ランダムに選択した書架
座標を巡る経路の距離を最小化する。
手法は遺伝的アルゴリズムで行う。
通路制約を考慮した巡回セールスマン問題を
遺伝的アルゴリズムで解いてみる
matchbou

仕様
幹線通路：Y 軸方向は通路中央（上図の 2,7,12,17,22 列）を移動す
る。
枝通路：各書架には、幹線通路から左右（東西 X 軸方向）に一歩
踏み出してアクセスする。
幹線通路間移動：書架をまたぐ幹線通路間の移動は、南北通路経由
の近いほうを辿り行う。（北回り or 南回り）
実装方針
最短距離計算上は、各書架至近の幹線通路座標間の移動と捉える。
幹線通路・枝通路間の出入りは各々距離 1 で固定。
実装内容
「選択した書架座標データ」とそれを「至近幹線通路位置に変換す
るデータ」を入力データとして、各書架座標データに対応する「至
近幹線通路位置」を巡る巡回セールスマン問題として解く。
「至近幹線通路位置」間の「距離行列」はユークリッド距離等では
なく、上記表の通路制約を踏まえて算出したものを使用する。
R コード
#working directory 設定-- 環境に合わせる
setwd("D:/_User/_SqlLocalDb")
#ライブラリ読込
library(tidyverse)
library(textshape)

library(GA)
#Y 軸最大座標--棚の長さ次第で調整する。
maxY = 21
#立ち寄り書架座標データの読み込み---必要に応じ変える
df0 <- read_csv("Data20180809EastSamp05.csv") %>%
dplyr::rename("x0"="x","y0"="y")
# 枝通路座標を幹線通路座標に変換するテーブルの作成
df1 = read_csv("Data20180813West.csv")
df1a <- df1
df1a['x0'] <- df1a['x'] - 1
df1a['y0'] <- df1a['y']
df1b <- df1
df1b['x0'] <- df1b['x'] + 1
df1b['y0'] <- df1b['y']
df2 <- rbind(df1a, df1b)
#幹線通路座標に変えて重複を削除（相向かい合う棚は同じ幹線通路座標を共
有する為、重複もあり得るのでユニーク化する）
df3 = dplyr::inner_join(df0, df2, by=c("x0","y0"))
df4 <- df3 %>% dplyr::select("x","y") %>% distinct(x,y, .keep_all
= FALSE)
#X 軸距離の算出
locX1Same <- df4 %>% dplyr::rename("x0"="x","y0"="y")
locX1Same2 <- locX1Same %>% rename("x1"="x0","y1"="y0")
locX1SameCross <- tbl_df( merge(locX1Same,locX1Same2,all=TRUE) )
locX1SameCross['distXall'] <- sqrt((locX1SameCross['x0'] -

※カッコ内は「回帰診断」のページ番号
library(dplyr)
library(ggplot2)
library(broom) #tidy
library(lmtest) #bptest, resettest
library(tseries) #jarque.bera.test
library(bstats) #white.test
様々な分析手法がありますが、初歩にして最も大事な手法の一つが回帰分析です。
例えば、mtcars というデータの disp と mpg という二変数について回帰分析をするなら
lm.mtcars <- lm(mpg~disp , data= mtcars)
summary(lm.mtcars)
##
## Call:
## lm(formula = mpg ~ disp, data = mtcars)
##
## Residuals:
## Min 1Q Median 3Q Max
## -4.8922 -2.2022 -0.9631 1.6272 7.2305
##
R_uncle_lmplot
N.Yamakawa

## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 29.599855 1.229720 24.070 < 2e-16 ***
## disp -0.041215 0.004712 -8.747 9.38e-10 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 3.251 on 30 degrees of freedom
## Multiple R-squared: 0.7183, Adjusted R-squared: 0.709
## F-statistic: 76.51 on 1 and 30 DF, p-value: 9.38e-10
となって、 mpg = 29.6 - 0.04 * disp という関係があるな、という
ことがすぐわかります。便利ですね。
ところで、lm 関数の出力オブジェクトを plot 関数に食わせると回
帰診断の作図が出来るのをご存知でしょうか。
par(mfrow=c(3, 2))
plot(lm.mtcars, which = 1:6)

par(mfrow=c(1, 1))
仕組みとしては 6 つのグラフが作図され、デフォルトでは 1, 2, 3, 5
番目のグラフが描画されます。
本記事ではこれらのグラフが何なのかと、これを ggplot2 で書くた
めの方法をご案内します。
また、蓑谷千凰彦「回帰診断」(朝倉書店)で詳細な解説があるので、
対応するページをお示しします。

e-Yhat プロット(P35)
plot(lm.mtcars, which = 1)
横軸は lm の結果推測値、縦軸は実際の値との残差です。線形回帰
があてはまる場合、推測値と残差の相関はゼロになるので、残差
に何らかの傾向が出ていると当てはまりが悪いことになります。。
本件は良さそうですが、例えば、以下のようなケースでは回帰モデ
ルは採用しないほうが良さそうです。

par(mfrow=c(1, 2))
lm(y2~x2, anscombe) %>% plot(which = 1)
lm(y3~x3, anscombe) %>% plot(which = 1)
par(mfrow=c(1, 1))
左：残差に関係性がある右：外れ値がある
といった点が見て取れます。

R-OJISAN

Recommended

Recommended

More Related Content

Featured

Featured (20)

R-OJISAN