"Od czasu kiedy kupiłam sobie Fitbita, jestem zafascynowana ile przydatnych informacji o moim zdrowiu i życiu dostarcza. Nie byłabym sobą, gdybym pozostała tylko przy informacjach z algorytmów appki producenta. Musiałam ściągnąć dane źródłowe i sprawdzić z czym jeszcze korelują mój sen i tętno. W ramach prezentacji pokażę hands-on analizę danych z trackera aktywności Fitbit w języku Python - tak, żeby każdy mógł później przeanalizować dane o swoim zdrowiu."

1. Magdalena Wójcik
Data Science na danych
z trackera aktywności - case

2. Plan prezentacjiPlan prezentacji
1. Hipoteza
2. Opis trackera Fitbit
3. Opis danych
4. Analiza stacjonarności szeregów czasowych
5. Dekompozycja szeregu czasowego
6. Analiza korelacji
7. Podsumowanie wyników

3. Badana hipotezaBadana hipoteza
Czy jestem meteoropatką?Czy jestem meteoropatką?
Za: Słownik języka polskiego pod red. W. Doroszewskiego, 1958 r.

4. Tracker - Fitbit Alta HRTracker - Fitbit Alta HR

5. Jakich danych dostarcza Fitbit?Jakich danych dostarcza Fitbit?
Liczba kroków, pięter na które się weszło, przebytych kilometrów.
Liczba spalonych kalorii w ciągu dnia.
Tętno spoczynkowe, tętno w danym momencie.
Długość i jakość snu.
Dane pochodzą z czujników:
Akcelerometru
Barometru
Żyroskopu
Fotoplezmatografu
Nie mamy dostępu do bezpośredniego sygnału z czujników z poziomu Web API.

6. Fotopletyzmogra a (PPG)Fotopletyzmogra a (PPG)
Metoda optycznego pomiaru
zmian przepływu krwi przez
naczynia obwodowe położone
blisko powierzchni ciała, może
być stosowana do pomiaru
szybkości pracy serca.
Fitbit używa zielonych LEDów i
fotodiody do pomiaru odbijanego
światła, a dzięki temu pojemności
naczyń krwionośnych pod skórą.

7. In [6]: sns.lineplot(x=rhr_daily.index, y="value.restingHeartRate", data=rhr_daily)
print("Pierwszy dzień: ", rhr_daily.index.min())
print("Ostatni dzień: ", rhr_daily.index.max())
print("Minimalne tętno: ", rhr_daily["value.restingHeartRate"].min())
print("Maksymalne tętno: ", rhr_daily["value.restingHeartRate"].max())
Pierwszy dzień: 2018-07-11 00:00:00
Ostatni dzień: 2018-10-31 00:00:00
Minimalne tętno: 67.0
Maksymalne tętno: 77.0

8. In [8]: sleep_sources = ["data/sleep-2018-07-11-2018-09-30.json", "data/sleep-2018-10-01
-2018-10-31.json"]
sleep = load_json(sleep_sources, "sleep")
data_all, data_sleep, data_naps = format_sleep(sleep)
data_sleep = remove_constant_cols(data_sleep)
data_sleep.info()
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 108 entries, 2018-07-12 to 2018-10-31
Data columns (total 22 columns):
duration 108 non-null int64
efficiency 108 non-null int64
endTime 108 non-null datetime64[ns]
levels.summary.deep.count 108 non-null float64
levels.summary.deep.minutes 108 non-null float64
levels.summary.deep.thirtyDayAvgMinutes 108 non-null float64
levels.summary.light.count 108 non-null float64
levels.summary.light.minutes 108 non-null float64
levels.summary.light.thirtyDayAvgMinutes 108 non-null float64
levels.summary.rem.count 108 non-null float64
levels.summary.rem.minutes 108 non-null float64
levels.summary.rem.thirtyDayAvgMinutes 108 non-null float64
levels.summary.wake.count 108 non-null float64
levels.summary.wake.minutes 108 non-null float64
levels.summary.wake.thirtyDayAvgMinutes 108 non-null float64
minutesAfterWakeup 108 non-null int64
minutesAsleep 108 non-null int64
minutesAwake 108 non-null int64
startTime 108 non-null datetime64[ns]
timeInBed 108 non-null int64
weekday 108 non-null int64
dayOfWeek 108 non-null object
dtypes: datetime64[ns](2), float64(12), int64(7), object(1)
memory usage: 19.4+ KB

9. In [9]: print("Minimalna efektywność snu: ", data_sleep["efficiency"].min())
print("Maksymalna efektywność snu: ", data_sleep["efficiency"].max())
sns.lineplot(data_sleep.index, data_sleep["efficiency"])
Out[9]:
Minimalna efektywność snu: 87
Maksymalna efektywność snu: 100
<matplotlib.axes._subplots.AxesSubplot at 0x7fdd49973198>

10. In [10]: sns.boxplot(x="dayOfWeek", y="efficiency", data=data_sleep, order=WEEKDAYS)
Out[10]: <matplotlib.axes._subplots.AxesSubplot at 0x7fdd49462908>

11. Dane meteorologiczne pochodzą ze stronyDane meteorologiczne pochodzą ze strony
meteomodel.plmeteomodel.pl

13. In [11]: meteo_daily = pd.read_csv("data/Dane meteorologiczne.csv", index_col=[0], parse_
dates=[0])
meteo_daily = meteo_daily.fillna(0)
meteo_daily.info()
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 113 entries, 2018-07-11 to 2018-10-31
Data columns (total 17 columns):
Średnia temperatura powietrza 113 non-null float64
Maksymalna temperatura powietrza 113 non-null float64
Minimalna temperatura powietrza 113 non-null float64
Minimalna temperatura powietrza przy gruncie 113 non-null float64
Średnia wilgotność powietrza 113 non-null float64
Średnia prężność pary wodnej 113 non-null float64
Średnie zachmurzenie 113 non-null float64
Średnia prędkość wiatru 113 non-null float64
Ciśnienie na poziomie morza 113 non-null float64
Ciśnienie na poziomie stacji 113 non-null float64
Dobowa suma opadu 113 non-null float64
Opad - dzień 113 non-null float64
Opad - noc 113 non-null float64
Usłonecznienie 113 non-null float64
Czas trwania opadu deszczu 113 non-null float64
Czas trwania rosy 113 non-null float64
Czas trwania burzy 113 non-null float64
dtypes: float64(17)
memory usage: 15.9 KB

14. Czy wszystkie analizowane szeregi są stacjonarne?Czy wszystkie analizowane szeregi są stacjonarne?
Stacjonarny szereg czasowy - szereg w którym wartość średnia, wariancja oraz funkcja
autokorelacji nie zmieniają się wraz ze zmianą czasu.

16. Rozszerzony test Dickeya-Fullera (Augmented Dickey-Rozszerzony test Dickeya-Fullera (Augmented Dickey-
Fuller test)Fuller test)
Test statystyczny, polegający na próbie dopasowania do danych modelu
autoregresyjnego, uwzględniający dwie hipotezy:
: Szereg jest niestacjonarny.
: Szereg jest stacjonarny.
Przy wyniku hipoteza zerowa jest odrzucana - szereg jest
stacjonarny.
H0
H1
p − value < 0.05

17. In [12]: import statsmodels.tsa.stattools as ts
rhr_series = rhr_daily["value.restingHeartRate"].values
result = ts.adfuller(rhr_series)
print("Wynik testu dla tętna spoczynkowegonp-value: {:.24f}".format(result[1]))
sleep_series = data_sleep["efficiency"].fillna(0).values
result = ts.adfuller(sleep_series)
print("Wynik testu dla efektywności snunp-value: {:.24f}".format(result[1]))
Wynik testu dla tętna spoczynkowego
p-value: 0.026188396618426579981476
Wynik testu dla efektywności snu
p-value: 0.000000000019042035089119

18. In [13]: meteo_adf = np.zeros(len(meteo_daily.columns))
for i, column in enumerate(meteo_daily.columns):
meteo_series = meteo_daily[column].fillna(0).values
adf = ts.adfuller(meteo_series)[1]
meteo_adf[i] = adf
meteo_adf_df = pd.DataFrame(meteo_adf, index=meteo_daily.columns,
columns=["p-value"])
meteo_adf_df.sort_values(by="p-value", ascending=False, inplace=True)
meteo_adf_df.style.format("{:.6f}")
Out[13]: p-value
Minimalna temperatura powietrza przy gruncie 0.867639
Minimalna temperatura powietrza 0.859623
Średnia prężność pary wodnej 0.699345
Średnia temperatura powietrza 0.614118
Maksymalna temperatura powietrza 0.395975
Czas trwania burzy 0.017540
Ciśnienie na poziomie morza 0.004599
Ciśnienie na poziomie stacji 0.003533
Średnia wilgotność powietrza 0.001089
Czas trwania opadu deszczu 0.000424
Średnie zachmurzenie 0.000000
Usłonecznienie 0.000000
Średnia prędkość wiatru 0.000000
Czas trwania rosy 0.000000
Opad - dzień 0.000000
Dobowa suma opadu 0.000000
Opad - noc 0.000000

19. In [14]: from statsmodels.tsa.seasonal import seasonal_decompose
def meteo_decompose(dataset, column):
result = seasonal_decompose(meteo_daily[column], model="additive", )
meteo_daily[column + " - resid"] = result.resid
meteo_daily.drop(column, axis=1, inplace=True)
return dataset, result
meteo_daily, result = meteo_decompose(meteo_daily, "Średnia temperatura powietrz
a")
result.plot()
pyplot.show()

20. Znormalizowana korelacja krzyżowa (normalizedZnormalizowana korelacja krzyżowa (normalized
cross-correlation)cross-correlation)
Korelacja krzyżowa uwzględnia możliwe przesunięcie (shift) szeregów czasowych
względem siebie.
norm_cross_correlation(x(t), y(t)) = (x(t) − ) (y(t) − )
1
n
∑
x,y
1
σx σy
x¯¯¯
y¯¯¯

21. In [24]: example = rhr_daily.copy()
example.columns = ["Tętno spoczynkowe"]
example["Ciśnienie"] = meteo_daily["Ciśnienie na poziomie morza"]
example["Ciśnienie + 2"] = meteo_daily["Ciśnienie na poziomie morza"].shift(2)
example["Ciśnienie - 2"] = meteo_daily["Ciśnienie na poziomie morza"].shift(-2)
example.head()
Out[24]: Tętno spoczynkowe Ciśnienie Ciśnienie + 2 Ciśnienie - 2
dateTime
2018-07-11 77.0 1013.4 NaN 1012.2
2018-07-12 72.0 1012.6 NaN 1011.6
2018-07-13 71.0 1012.2 1013.4 1012.4
2018-07-14 73.0 1011.6 1012.6 1009.5
2018-07-15 73.0 1012.4 1012.2 1004.8

22. In [20]: def corr_norm(a, b):
conv = np.correlate(a - np.mean(a), b - np.mean(b))[0]
norm = np.std(a) * np.std(b) * len(a)
return conv / norm
def xcorr(a, b, shifts):
shifts = list(range(-shifts, shifts + 1))
corr = np.full((len(b.columns), len(shifts)), np.inf)
for i, column in enumerate(b.columns):
for j, shift in enumerate(shifts):a
b_in = b[column].shift(shift)
invalid = b_in.isna()
b_in = b_in[~invalid].values
a_in = a[~invalid].values
corr[i][j] = corr_norm(a_in, b_in)
corr_df = pd.DataFrame(corr, columns=shifts, index=b.columns)
return corr_df

23. In [38]: corr_rhr = xcorr(rhr_daily["value.restingHeartRate"], meteo_daily, 5)
f, ax = plt.subplots(figsize=(6, 7))
ax = sns.heatmap(corr_rhr, cmap="YlGnBu")

24. In [39]: corr_rhr = xcorr(rhr_daily["value.restingHeartRate"], meteo_daily, 10)
f, ax = plt.subplots(figsize=(10, 7))
ax = sns.heatmap(corr_rhr, cmap="YlGnBu")

25. In [42]: corr_rhr.stack().abs().sort_values(ascending=False)
Out[42]: Usłonecznienie 6 0.404034
7 0.392621
Średnia prędkość wiatru 5 0.343960
Ciśnienie na poziomie morza -8 0.331546
Średnia wilgotność powietrza 6 0.330481
Średnia prędkość wiatru 4 0.328771
Ciśnienie na poziomie morza -7 0.324229
Ciśnienie na poziomie stacji -8 0.322160
Ciśnienie na poziomie morza -6 0.319641
Ciśnienie na poziomie stacji -7 0.315570
-6 0.310706
Średnie zachmurzenie 6 0.303247
Średnia prędkość wiatru 6 0.302663
Czas trwania opadu deszczu 6 0.301615
Usłonecznienie 5 0.301121
8 0.297127
Czas trwania burzy 2 0.297096
Ciśnienie na poziomie morza -5 0.296600
-9 0.292152
Ciśnienie na poziomie stacji -5 0.286841
Usłonecznienie 9 0.285268
Średnia prędkość wiatru -8 0.284111
Ciśnienie na poziomie stacji -9 0.280799
Średnie zachmurzenie 7 0.280593
Czas trwania opadu deszczu 8 0.278038
Średnia wilgotność powietrza -10 0.277524
7 0.275640
Usłonecznienie 4 0.274867
Ciśnienie na poziomie morza 9 0.270913
Czas trwania opadu deszczu 7 0.270538
...
Minimalna temperatura powietrza - resid -1 0.008364
-6 0.008314
Średnia temperatura powietrza - resid 2 0.007613

26. Maksymalna temperatura powietrza - resid 1 0.007468
Średnia temperatura powietrza - resid 3 0.007448
Średnia prężność pary wodnej - resid 8 0.007151
Średnia prędkość wiatru 10 0.006572
Minimalna temperatura powietrza - resid 7 0.005815
-10 0.005676
Średnia prędkość wiatru 9 0.005628
Minimalna temperatura powietrza przy gruncie - resid -1 0.005619
Opad - dzień -10 0.005463
Minimalna temperatura powietrza przy gruncie - resid 8 0.004637
Dobowa suma opadu 4 0.004316
Opad - noc 3 0.003697
Minimalna temperatura powietrza przy gruncie - resid -10 0.003537
Minimalna temperatura powietrza - resid -7 0.003211
Dobowa suma opadu 2 0.002903
Średnia prężność pary wodnej - resid -9 0.002869
Minimalna temperatura powietrza przy gruncie - resid -3 0.002641
Średnia temperatura powietrza - resid -4 0.002474
Maksymalna temperatura powietrza - resid 0 0.002445
Ciśnienie na poziomie morza 0 0.002042
3 0.001826
Czas trwania rosy -8 0.001703
Czas trwania burzy -10 0.001640
Średnia temperatura powietrza - resid 10 0.001429
Maksymalna temperatura powietrza - resid -4 0.001039
Średnia temperatura powietrza - resid 1 0.000645
Maksymalna temperatura powietrza - resid 2 0.000056
Length: 357, dtype: float64

27. In [49]: sns.set()
plt.plot(meteo_daily.index, meteo_daily["Usłonecznienie"].shift(6).apply(lambda
x: x + 40))
plt.plot(meteo_daily.index, meteo_daily["Ciśnienie na poziomie morza"].shift(-8)
.apply(lambda x: x - 900))
plt.plot(meteo_daily.index, meteo_daily["Średnia prędkość wiatru"].shift(5))
plt.plot(rhr_daily.index, rhr_daily["value.restingHeartRate"])
plt.legend(["Usłonecznienie", "Ciśnienie na poziomie morza", "Średnia prędkość w
iatru", "Tętno spoczynkowe"])
Out[49]: <matplotlib.legend.Legend at 0x7fdd41a07b70>

28. In [52]: corr_sleep_efficiency = xcorr(data_sleep["efficiency"], meteo_daily, 5)
f, ax = plt.subplots(figsize=(6, 7))
ax = sns.heatmap(corr_sleep_efficiency, cmap="YlGnBu")

29. In [40]: corr_sleep_efficiency = xcorr(data_sleep["efficiency"], meteo_daily, 10)
f, ax = plt.subplots(figsize=(10, 7))
ax = sns.heatmap(corr_sleep_efficiency, cmap="YlGnBu")

30. In [50]: corr_sleep_efficiency.stack().abs().sort_values(ascending=False)
Out[50]: Średnia prędkość wiatru 6 0.301546
Czas trwania burzy -10 0.242508
Czas trwania rosy -5 0.225645
-3 0.222534
Opad - dzień 1 0.221495
Czas trwania burzy -4 0.220298
Dobowa suma opadu 1 0.219600
Średnia prężność pary wodnej - resid 1 0.205617
-3 0.197595
Minimalna temperatura powietrza przy gruncie - resid 6 0.189702
Opad - noc 5 0.188261
Średnia prężność pary wodnej - resid -4 0.188176
Minimalna temperatura powietrza - resid -4 0.187696
Czas trwania rosy 0 0.185332
Opad - dzień 7 0.184611
Czas trwania burzy -6 0.183412
Średnia prężność pary wodnej - resid -10 0.183362
Dobowa suma opadu 7 0.179223
Ciśnienie na poziomie stacji -1 0.175914
Średnia prężność pary wodnej - resid 7 0.175660
Średnia prędkość wiatru -10 0.175016
Minimalna temperatura powietrza przy gruncie - resid 0 0.174345
Ciśnienie na poziomie morza -1 0.173830
Średnia prędkość wiatru 1 0.173023
Opad - noc 9 0.170768
Średnia wilgotność powietrza -10 0.167220
Opad - dzień 2 0.167063
Maksymalna temperatura powietrza - resid 2 0.161642
Czas trwania rosy 2 0.160725
Czas trwania opadu deszczu 7 0.160224
...
Średnia prężność pary wodnej - resid -9 0.009866
Minimalna temperatura powietrza przy gruncie - resid -10 0.009702
Czas trwania rosy 7 0.008342

31. Ciśnienie na poziomie morza 10 0.008016
Średnia prężność pary wodnej - resid 3 0.007959
Opad - dzień -6 0.007406
Średnia temperatura powietrza - resid -10 0.007068
Średnia prędkość wiatru -6 0.007031
Opad - dzień 8 0.006915
Minimalna temperatura powietrza przy gruncie - resid -2 0.005759
Czas trwania burzy 10 0.005480
Średnia prężność pary wodnej - resid -2 0.003840
Opad - noc 6 0.003700
Czas trwania opadu deszczu 2 0.003075
Opad - noc -6 0.003004
Usłonecznienie -3 0.002803
Minimalna temperatura powietrza - resid -8 0.002595
Dobowa suma opadu -4 0.002306
Opad - dzień -3 0.002302
Średnia prędkość wiatru -9 0.001755
-8 0.001745
Ciśnienie na poziomie stacji -5 0.001464
Maksymalna temperatura powietrza - resid -5 0.001385
-6 0.001379
Czas trwania rosy 3 0.001218
Średnie zachmurzenie -9 0.000956
-8 0.000954
Ciśnienie na poziomie morza -5 0.000938
Opad - dzień -7 0.000821
Dobowa suma opadu -6 0.000520
Length: 357, dtype: float64

32. In [51]: sns.set()
plt.plot(meteo_daily.index, meteo_daily["Średnia prędkość wiatru"].shift(-4))
plt.plot(meteo_daily.index, meteo_daily["Czas trwania burzy"].shift(-10))
plt.plot(meteo_daily.index, meteo_daily["Czas trwania rosy"].shift(-5).apply(lam
bda x: x + 10))
plt.plot(data_sleep.index, data_sleep["efficiency"].apply(lambda x: x - 60))
plt.legend(["Średnia prędkość wiatru", "Czas trwania burzy", "Czas trwania rosy"
, "Efektywność snu"])
Out[51]: <matplotlib.legend.Legend at 0x7fdd41a2f4a8>

33. To czy jestem meteoropatką?To czy jestem meteoropatką?

34. ¯_(ツ)_/¯

35. PodsumowaniePodsumowanie
Szeregi okazały się być słabo skorelowane, ale widoczne były pewne wzorce.
Do potwierdzenia lub obalenia hipotezy potrzebne są dalsze analizy. Potencjalne kierunki
badań:
Uwzględeninie poziomu aktywności zycznej
Analiza danych na poziomie godzin lub minut
Ponowna analiza po uzyskaniu większej liczby próbek

36. Dzięki!Dzięki!
magdalena.wojcik@datalove.plmagdalena.wojcik@datalove.pl
https://github.com/Claygirl/ai-roadshow- tbit
(https://github.com/Claygirl/ai-roadshow- tbit)