Download as PDF, PPTX
![R10K and non-cache-coherent systems
> boot -f pci(0)scsi(0)cdrom(4)rdisk(0)partition(8)ip3xboot
51312+1792 entry: 0x80002000
NetBSD/sgimips 6.1.5 Bootstrap, Revision 1.5
devopen: pci(0)scsi(0)cdrom(4)rdisk(0)partition(0) type scsi file ip3x
9676336+143472=0x95db74
phys segment: 0xd000 @ 0x2000
adding 0xd000 @ 0x2000 to freelist 0
pmap_steal_memory: seg 2: 0x9be 0x9be 0xd50 0xd50
pmap_steal_memory: seg 2: too small for 1176 pages
pmap_steal_memory: seg 3: 0x1400 0x1400 0xfffe 0xfffe
Copyright (c) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005,
2006, 2007, 2008, 2009, 2010, 2011, 2012
The NetBSD Foundation, Inc. All rights reserved.
Copyright (c) 1982, 1986, 1989, 1991, 1993
The Regents of the University of California. All rights reserved.
NetBSD 6.1.5 (INSTALL32_IP3x)
total memory = 256 MB
(6848 KB reserved for ARCS)
avail memory = 235 MB
mainbus0 (root): SGI-IP32 [SGI, b], 1 processor
cpu0 at mainbus0: MIPS R12000 CPU (0xe23) Rev. 2.3 with unknown FPC type (0x900) Rev. 0.0
cpu0: 64 TLB entries, 16MB max page size
cpu0: 32KB/64B 2-way set-associative L1 instruction cache
cpu0: 32KB/32B 2-way set-associative write-back L1 data cache
cpu0: 1024KB/64B 2-way set-associative write-back L2 data cache
crime0 at mainbus0 addr 0x14000000: rev 1.4 (CRIME_ID: 17592186044577)
crmfb0 at mainbus0 addr 0x16000000: SGI CRIME Graphics Display Engine
crmfb0: initial resolution 1280x1024
カーネル読み込んで
UVM初期化して
デバイスプローブ](https://image.slidesharecdn.com/random-150815131807-lva1-app6892/85/slide-22-320.jpg)
![R10K and non-cache-coherent systems
ahc1: aic7880: Ultra Wide Channel A, SCSI Id=0, 16/253 SCBs
scsibus1 at ahc1: 16 targets, 8 luns per target
scsibus0: waiting 2 seconds for devices to settle...
scsibus1: waiting 2 seconds for devices to settle...
ahc0:parity error detected in Data-in phase. SEQADDR(0x7c) SCSIRATE(0x0)
ahc0:parity error detected in Data-in phase. SEQADDR(0x7c) SCSIRATE(0x0)
ahc0:parity error detected in Data-in phase. SEQADDR(0x171) SCSIRATE(0x0)
ahc0:parity error detected in Data-in phase. SEQADDR(0x1c2) SCSIRATE(0x0)
ahc0:Unexpected busfree in Message-out phase
…
SEQADDR == 0x172
sd0 at scsibus0 target 2 lun 0: <011002015, 004016005023-318350031, 02300130> disk fixed
ahc0:Unexpected busfree in Message-out phase
SEQADDR == 0x172
ahc0:Unexpected busfree in Message-out phase
…
>>>>>>>>>>>>>>>>>> Dump Card State Begins <<<<<<<<<<<<<<<<<
ahc0: Dumping Card State in Data-in phase, at SEQADDR 0x7d
Card was paused
ACCUM = 0xf6, SINDEX = 0xb8, DINDEX = 0xa8, ARG_2 = 0x3
HCNT = 0x40 SCBPTR = 0x1
SCSISIGI[0x54] ERROR[0x0] SCSIBUSL[0x0] LASTPHASE[0x40]
SCSISEQ[0x12] SBLKCTL[0x2] SCSIRATE[0x0] SEQCTL[0x10]
SEQ_FLAGS[0x20] SSTAT0[0x0] SSTAT1[0x3] SSTAT2[0x0]
<<<<<<<<<<<<<<<<< Dump Card State Ends >>>>>>>>>>>>>>>>>>
sg[0] - Addr 0xc0fdc50f : Length 128
sd0(ahc0:0:2:0): ahc0: no longer in timeout, status = 0
ahc0: Issued Channel A Bus Reset. 1 SCBs aborted
SCSIをプローブしてから
おや！？O2のようすが…！](https://image.slidesharecdn.com/random-150815131807-lva1-app6892/85/slide-23-320.jpg)
![ページカラーリング実装
pgflbucket構造体のサイズ
カラーの数
2(uvm.page_freeとuvm.cpus[0]->page_free用)
+
割り出したページ数 vm_page構造体のサイズ
メモリを割り当てる
(例だと0x18d2438バイト)
uvm_pageboot_alloc()で
メモリが奪われ、
vm_physseg.start
vm_physseg.avail_startが押し上げられる
例だと0x18d2438バイト -> 0x18d2ページ
vm_physseg.start = 0x1000
↓
vm_physseg.start = 0x28d2
uvm_page_init()](https://image.slidesharecdn.com/random-150815131807-lva1-app6892/85/slide-35-320.jpg)
![[20171031 db tech salon] クラウド移行をベトナムで！？ by 株式会社インサイトテクノロジー 森 茂紀](https://cdn.slidesharecdn.com/ss_thumbnails/20171031cloudmigrationinvietnam-171106090240-thumbnail.jpg?width=640&height=640&fit=bounds)
あるキャッシュメモリの話
- 1.
- 2.
- 3. 自己紹介 • えとみ なるあき • 港湾物流業界というニッチな世界で働いています •文系です • 仕事ではCOBOLしか使った事が有りません A-VXでCOBOLを覚えました • COBOL結構好き！
- 4.
- 5.
- 6.
- 7. Titanチップセット Alpha Station DS15(1CPU) にはTitanチップセットが使われており、 このチップセットは他に AlphaStation/Server DS25(2CPU) や Alpha Server ES45(4CPU) に使われています
- 8.
- 9. Alpha Server DS25CPU UNIT
- 10.
- 11. AlphaStation DS15とAlpha StationDS25 同じCPU 同じクロック 同じチップセット 違いは 二次キャッシュの 容量！ (2MBと8MB)
- 12. 姫野ベンチ dynamic allocate versionGrid-size=M ★ DS15とDS25のスコアの差は キャッシュ容量が原因? ★ cccよりgccのほうがスコアが 良い? ★ Tru64とNetBSDではスコアが 倍以上違う?
- 13.
- 14.
- 15. 実験 /sys/arch/alpha/alpha/dec_6600.c #include <dev/cons.h> +#include <uvm/uvm_extern.h> #include<machine/rpb.h> +static int external_cache_probe(int minsize, int width); #ifdef KGDB #include <machine/db_machdep.h> @@ -102,6 +115,7 @@ void dec_6600_init(void) { platform.family = "6600"; @@ -115,11 +129,52 @@ platform.device_register = dec_6600_device_register; platform.mcheck_handler = dec_6600_mcheck_handler; + + uvmexp.ncolors = atop(external_cache_probe(1024*1024, 6)); + /* enable Cchip and Pchip error interrupts */ STQP(TS_C_DIM0) = 0xe000000000000000; STQP(TS_C_DIM1) = 0xe000000000000000; } external_cache_probeはLinuxのarch/alpha/kernel/setup.cを参考にして下さい DS15の移植を通して L2キャッシュが設定されて 無い事は知ってたので L2キャッシュをプローブして 適切に設定し、効果を実験
- 16. 実験 Alpha Station DS15 Direct-mappedL2 Cache:2MB 2048K Bcache detected; load hit latency 24 cycles, load miss latency 136 cycles uvmexp.colors = 256 (2048K / PAGE_SIZE) PAGE_SIZE = 8K Alpha Server DS25 Direct-mapped L2 Cache:8MB 8192K Bcache detected; load hit latency 24 cycles, load miss latency 138 cycles uvmexp.ncolors = 1024 (8192K / PAGE_SIZE) PAGE_SIZE = 8K colorの計算方法 = Cache size/assoc/PAGE_SIZE L2キャッシュはちゃんとプローブされ、 カラーも設定されています
- 17. 姫野ベンチ dynamic allocate versionGrid-size=M page coloringを 設定したら 性能ダダ下がり… (´；ω；`)ｳｯ
- 18. そもそもキャッシュメモリとは？ キャッシュメモリ (cache memory)は、 CPUなど処理装置がデータや命令などの情報を取得/更新する際に 主記憶装置やバスなどの遅延／低帯域を隠 し、 処理装置と記憶装置の性能差を埋めるために用いる 高速小容量メモリのことである。 略してキャッシュとも呼ぶ。 コンピュータは以前から記憶装置や伝送路の性能が 処理装置の性能に追いつけず、 この差が全体性能に対する ボトルネックとされてきた（ノイマンズ・ボトルネック）。 そしてムーアの法則に基づく処理装置の加速度的な高性能化により 現在ではますますこの差が拡大されている。 キャッシュメモリは、記憶階層の観点からこれを解消しようとするものである。 Wikipediaより
- 19.
- 20. 仮想キャッシュ • プログラムの仮想アドレスを使ってキャッシュをインデックス する • メリット ☆高速 ☆ 仮想アドレスを使ってキャッシュを引くため アドレス変換を行わずに済み、 CPUにデータを素早く返す事が出来る • デメリット ★ 容量が少ない ★ 仮想アドレスを使ってキャッシュを引くため エイリアス、曖昧性、DMA処理等で問題が発生する したがって適切なメンテナンスが必要
- 21.
- 22. R10K and non-cache-coherentsystems > boot -f pci(0)scsi(0)cdrom(4)rdisk(0)partition(8)ip3xboot 51312+1792 entry: 0x80002000 NetBSD/sgimips 6.1.5 Bootstrap, Revision 1.5 devopen: pci(0)scsi(0)cdrom(4)rdisk(0)partition(0) type scsi file ip3x 9676336+143472=0x95db74 phys segment: 0xd000 @ 0x2000 adding 0xd000 @ 0x2000 to freelist 0 pmap_steal_memory: seg 2: 0x9be 0x9be 0xd50 0xd50 pmap_steal_memory: seg 2: too small for 1176 pages pmap_steal_memory: seg 3: 0x1400 0x1400 0xfffe 0xfffe Copyright (c) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012 The NetBSD Foundation, Inc. All rights reserved. Copyright (c) 1982, 1986, 1989, 1991, 1993 The Regents of the University of California. All rights reserved. NetBSD 6.1.5 (INSTALL32_IP3x) total memory = 256 MB (6848 KB reserved for ARCS) avail memory = 235 MB mainbus0 (root): SGI-IP32 [SGI, b], 1 processor cpu0 at mainbus0: MIPS R12000 CPU (0xe23) Rev. 2.3 with unknown FPC type (0x900) Rev. 0.0 cpu0: 64 TLB entries, 16MB max page size cpu0: 32KB/64B 2-way set-associative L1 instruction cache cpu0: 32KB/32B 2-way set-associative write-back L1 data cache cpu0: 1024KB/64B 2-way set-associative write-back L2 data cache crime0 at mainbus0 addr 0x14000000: rev 1.4 (CRIME_ID: 17592186044577) crmfb0 at mainbus0 addr 0x16000000: SGI CRIME Graphics Display Engine crmfb0: initial resolution 1280x1024 カーネル読み込んで UVM初期化して デバイスプローブ
- 23. R10K and non-cache-coherentsystems ahc1: aic7880: Ultra Wide Channel A, SCSI Id=0, 16/253 SCBs scsibus1 at ahc1: 16 targets, 8 luns per target scsibus0: waiting 2 seconds for devices to settle... scsibus1: waiting 2 seconds for devices to settle... ahc0:parity error detected in Data-in phase. SEQADDR(0x7c) SCSIRATE(0x0) ahc0:parity error detected in Data-in phase. SEQADDR(0x7c) SCSIRATE(0x0) ahc0:parity error detected in Data-in phase. SEQADDR(0x171) SCSIRATE(0x0) ahc0:parity error detected in Data-in phase. SEQADDR(0x1c2) SCSIRATE(0x0) ahc0:Unexpected busfree in Message-out phase … SEQADDR == 0x172 sd0 at scsibus0 target 2 lun 0: <011002015, 004016005023-318350031, 02300130> disk fixed ahc0:Unexpected busfree in Message-out phase SEQADDR == 0x172 ahc0:Unexpected busfree in Message-out phase … >>>>>>>>>>>>>>>>>> Dump Card State Begins <<<<<<<<<<<<<<<<< ahc0: Dumping Card State in Data-in phase, at SEQADDR 0x7d Card was paused ACCUM = 0xf6, SINDEX = 0xb8, DINDEX = 0xa8, ARG_2 = 0x3 HCNT = 0x40 SCBPTR = 0x1 SCSISIGI[0x54] ERROR[0x0] SCSIBUSL[0x0] LASTPHASE[0x40] SCSISEQ[0x12] SBLKCTL[0x2] SCSIRATE[0x0] SEQCTL[0x10] SEQ_FLAGS[0x20] SSTAT0[0x0] SSTAT1[0x3] SSTAT2[0x0] <<<<<<<<<<<<<<<<< Dump Card State Ends >>>>>>>>>>>>>>>>>> sg[0] - Addr 0xc0fdc50f : Length 128 sd0(ahc0:0:2:0): ahc0: no longer in timeout, status = 0 ahc0: Issued Channel A Bus Reset. 1 SCBs aborted SCSIをプローブしてから おや！？O2のようすが…！
- 24. R10K and non-cache-coherentsystems
- 25.
- 26. 物理キャッシュ • プログラムの物理アドレスを使ってキャッシュをイン デックスする • メリット ☆エイリアス、曖昧性の問題が発生しない • デメリット ★ アドレス変換が発生する (一次キャッシュのアクセスと並行してアドレス変換する) ★ OSのページ割当の方法によっては キャッシュスラッシングが発生して、性能が出ない
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35. ページカラーリング実装 pgflbucket構造体のサイズ カラーの数 2(uvm.page_freeとuvm.cpus[0]->page_free用) + 割り出したページ数 vm_page構造体のサイズ メモリを割り当てる (例だと0x18d2438バイト) uvm_pageboot_alloc()で メモリが奪われ、 vm_physseg.start vm_physseg.avail_startが押し上げられる 例だと0x18d2438バイト ->0x18d2ページ vm_physseg.start = 0x1000 ↓ vm_physseg.start = 0x28d2 uvm_page_init()
- 36.
- 37.
- 38.
- 39.
- 40. ページカラーリング実装 * o free *=> pageq.list is entry on global free page queue * => listq.list is entry on per-CPU free page queue * => uanon is unused (or (void *)0xdeadbeef for DEBUG) * => uobject is unused (or (void *)0xdeadbeef for DEBUG) * => PQ_FREE is set in pqflags uvm.page_free と ucpu->page_free の二つの空きページリストに登録 uvm_pagefree()
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54. Alpha Station XP1000 XP1000は @impreza_gf8さんから 譲っていただきました! この機種はNetBSD1.4の頃から サポートされている (二次キャッシュのプローブはなし) 4096KBcache detected; load hit latency 20 cycles, load miss latency 105 cycles
- 55. 姫野ベンチ dynamic allocate versionGrid-size=M 昔のNetBSD 4を使って、page coloringを行うように変更した場合、 性能向上が見られた！ 2回目の実行で顕著に 性能差が見られるのは 1回目の内容がキャッシュに 残っているため？だと思われる
- 56. 姫野ベンチ dynamic allocate versionGrid-size=M 現在のNetBSD currentを使って、page coloringを行うように変更した場合、 劇的に性能が落ちた！
- 57.
- 58. 大きいキャッシュに大きいページ、そこそこメモリ COMPAQ Professional WorkstationXP1000, 500MHz, s/n 8192 byte page size, 1 processor. 4096K Bcache detected; total memory = 512 MB (2128 KB reserved for PROM, 509 MB used by NetBSD) avail memory = 492 MB このばあい、colorは512で しらべたところ、62831pageを扱っていた。
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66. 参考文献&お世話になった方々 ☆ UNIXカーネル内部解析 キャッシュとマルチプロセッサの管理 ☆SOLARIS インターナル カーネル構造の全て ☆ BSDカーネルの設計と実装 FreeBSD詳細 ☆ UNIXカーネルの設計 ☆ 最前線のUNIXのカーネル ☆ BSD magazine 13号 NetBSDの設計と実装 ☆ NetBSD UVM page coloringメモ http://togetter.com/li/203520 ☆ コンピュータアーキテクチャの話 12 キャッシュの構造や働き(上級編) - メモリエーリアス http://news.mynavi.jp/column/architecture/012/ ★ つついさんを始め、なまあたたかい目でアドバイスをくださる NetBSDなかたがた ★ Alpha Station XP1000を譲って下さった、@impreza_gf8様 ★ Alpha Station 200を譲って下さった、@syuu1228様 ★ ふぁぼってくださる、フォロワーさん