یکی از روش‌های ارزیابی سامانه‌های رایانه‌ای، شبیه‌سازی به کمک رایانه است. این روش پیشینه‌ای طولانی دارد و در موارد بسیاری که ارزیابی با روش‌های صوری ممکن نیست، به کمک طراحان سامانه می‌آید. در صورتی که بتوان تمام حالات ممکن برای رفتار یک سامانه را در نظر گرفت و بر اساس آن ارزیابی را انجام داد، می‌توان به یک نتیجه‌گیری مطمئن هم رسید. اما در عمل این فضای حالت چنان گسترده است که ارزیاب را ناگزیر می‌کند شبیه‌سازی را بر مبنای فرضیاتی در خصوص نوع ورودی‌ها و زمان‌بندی آن‌ها انجام دهد. اینجاست که اگر تحلیل نتایج به درستی انجام نشود، چیزی جز دستاوردهای تصادفی نخواهد بود و هیچ ارزش علمی نخواهد داشت؛ و نه تنها راهگشا نخواهد بود بلکه موجب گمراهی خواهد شد. در این ارائه با طرح دو مثال واقعی سعی می‌کنیم برخی ملاحظات و پیچیدگی‌هایی را که طراحی و تحلیل درست شبیه‌سازی و نتایج آن با روش‌های آماری دارد، مطرح کنیم.

1. ‫م‬‫حی‬‫ر‬‫ل‬‫ا‬‫ن‬
‫حم‬
‫ر‬‫ل‬‫ا‬‫ال‬‫م‬
‫بس‬
‫م‬‫حی‬‫ر‬‫ل‬‫ا‬‫ن‬
‫حم‬
‫ر‬‫ل‬‫ا‬‫ال‬‫م‬
‫بس‬
‫ف‬‫ی‬‫ر‬‫ش‬‫ی‬‫ت‬‫ع‬‫ن‬‫ص‬
‫نص ه‬‫ن‬‫ا‬‫د‬ ‫کامرت‬‫ی‬‫س‬‫ند‬‫مه‬‫نص ه‬‫ن‬‫ا‬‫د‬
‫ون‬‫م‬‫را‬‫پی‬‫کات‬ ‫ن‬‫ی‬‫خ‬‫ب‬‫ون‬‫م‬‫را‬‫پی‬‫کات‬ ‫ن‬‫ی‬‫خ‬‫ب‬
‫سازی‬‫ه‬‫ی‬‫شب‬‫ک‬‫با‬‫ای‬‫یان‬‫ا‬‫ر‬‫هی‬‫سامان‬‫ی‬‫ب‬‫ارزیا‬‫سازی‬‫ه‬‫ی‬‫شب‬‫ک‬‫با‬‫ای‬‫یان‬‫ا‬‫ر‬‫هی‬‫سامان‬‫ی‬‫ب‬‫ارزیا‬
‫نوگورانی‬ ‫دری‬ ‫صادق‬‫نوگورانی‬ ‫دری‬ ‫صادق‬
– ‫شبکه‬ ‫و‬ ‫داده‬ ‫امنیت‬ ‫آزمایشگاه‬۱۱‫دی‬۱۳۹۵

2. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۲
‫کارایی‬ ‫ارزیابی‬ ‫های‬‫روش‬ ‫برخی‬‫کارایی‬ ‫ارزیابی‬ ‫های‬‫روش‬ ‫برخی‬
‫واقعی‬ ‫نمونه‬ ‫ساختن‬
(‫)صوری‬ ‫تحلیلی‬
-‫کارایی‬ ‫های‬‫شاخص‬ ‫محاسبه‬ ‫و‬ ‫ریاضی‬ ‫سازی‬‫مدل‬
‫سازی‬‫شبیه‬
-(‫واقعی‬ ‫سامانه‬ ‫موی‬ ‫به‬ ‫)مو‬ ‫تقلید‬
-(‫شده‬ ‫ساده‬ ‫مدل)های‬ ‫اساس‬ ‫بر‬ ‫سازی‬‫شبیه‬

3. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۳
‫ها‬‫مدل‬ ‫انواع‬‫ها‬‫مدل‬ ‫انواع‬

4. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۴
‫شود؟‬ ‫استفاده‬ ‫نباید‬ ‫سازی‬‫شبیه‬ ‫کجاها‬‫شود؟‬ ‫استفاده‬ ‫نباید‬ ‫سازی‬‫شبیه‬ ‫کجاها‬
.‫است‬ ‫ممکن‬ ‫شهودی‬ ‫صورت‬ ‫به‬ ‫ارزیابی‬
.‫است‬ ‫استفاده‬ ‫قابل‬ ‫تحلیلی‬ ‫های‬‫روش‬
.‫است‬ ‫تر‬‫ساده‬ ‫مستقیم‬ ‫آزمایش‬
.‫نیست‬ ‫صرفه‬ ‫به‬ ‫سازی‬‫شبیه‬
.‫نیست‬ ‫موجود‬ ‫کافی‬ ‫منابع‬ ‫و‬ ‫زمان‬
.‫است‬ ‫پیچیده‬ ‫حد‬ ‫از‬ ‫بیش‬ ‫سامانه‬ ‫رفتار‬

5. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۵
‫سازی‬‫شبیه‬ ‫معایب‬‫سازی‬‫شبیه‬ ‫معایب‬
‫سازی‬‫مدل‬ ‫زمینه‬ ‫در‬ ‫تخصص‬ ‫و‬ ‫تجربه‬
‫سازی‬‫شبیه‬ ‫اجرای‬ ‫و‬ ‫سازی‬‫مدل‬ ‫بودن‬ ‫بر‬‫هزینه‬ ‫و‬ ‫بر‬‫زمان‬
‫آمده‬ ‫دست‬ ‫به‬ ‫نتایج‬ ‫و‬ ‫سازی‬‫شبیه‬ ‫درستی‬ ‫از‬ ‫اطمینان‬

6. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۶
‫سازی‬‫شبیه‬ ‫های‬‫مدل‬ ‫بندی‬‫دسته‬‫سازی‬‫شبیه‬ ‫های‬‫مدل‬ ‫بندی‬‫دسته‬

7. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۷
‫سازی‬‫شبیه‬ ‫های‬‫گام‬‫سازی‬‫شبیه‬ ‫های‬‫گام‬

8. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۸
(‫)ادامه‬ ‫سازی‬‫شبیه‬ ‫های‬‫گام‬(‫)ادامه‬ ‫سازی‬‫شبیه‬ ‫های‬‫گام‬

9. ۱۳۹۵ ‫دی‬ ۱۱ ‫صاد‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬
‫نوگورانی‬ ‫دری‬ ‫ق‬
9
‫‌سازی‬‫ه‬‫‌های‌ارزیابی‌به‌کمک‌شبی‬‫ش‬‫چال‬‫‌سازی‬‫ه‬‫‌های‌ارزیابی‌به‌کمک‌شبی‬‫ش‬‫چال‬
Do not trust all simulation studies of
telecommunication networks, K. Pawlikowski, Invited
talk at ICOIN'2003.

10. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۰
‫اصلی‬ ‫های‬‫چالش‬‫اصلی‬ ‫های‬‫چالش‬
‌:‫‌سازی‌درست‬‫ل‬‫مد‬.‫است‬ ‫سازی‬‫مدل‬ ‫بر‬ ‫مبتنی‬ ‫سازی‬‫شبیه‬
-۳۰-۴۰‫کار‬ ‫کل‬ ‫درصد‬
-‫کافی‬ ‫جزئیات‬ ‫با‬ ‫سامانه‬ ‫خود‬ ،‫محیط‬ ‫بقیه‬ ‫و‬ ‫شبکه‬ ،‫ها‬‫ورودی‬
‫‌سازی‌)آزمایش(‌درست‬‫ه‬‫شبی‬
-‫تصادفی‬ ‫مقادیر‬ ‫برای‬ ‫مناسب‬ ‫منابع‬
-‫سازی‬‫شبیه‬ ‫خروجی‬ ‫درست‬ ‫تحلیل‬
‫بودن‬ ‫تکرار‬ ‫قابل‬
-‫مجدد‬ ‫تکرار‬ ‫و‬ ‫سنجی‬‫صحت‬ ‫برای‬ ‫کافی‬ ‫اطلاعات‬

11. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۱
‫تصادفی‬ ‫اعداد‬ ‫مسأله‬‫تصادفی‬ ‫اعداد‬ ‫مسأله‬
) ‫تصادفی‬‫شبه‬ ‫ااعداد‬PRNG(
-‫ریاضی‬ ‫الگوریتم‬ ‫کمک‬ ‫به‬ ‫تولید‬
‌‫چالش‬۱:‫محدود‬ ‫تناوب‬ ‫دوره‬
-‫دور‬ ‫یک‬ ‫پایان‬ ‫تا‬ ‫که‬ ‫باشد‬ ‫طولنی‬ ‫آنقدر‬ ‫باید‬ ‫تناوب‬ ‫دوره‬
.‫نرسد‬ ‫پایان‬ ‫به‬ ‫سازی‬‫شبیه‬
-‫سازی‬‫شبیه‬ ‫اجزای‬ ‫بین‬ ‫است‬ ‫ممکن‬ ،‫صورت‬ ‫این‬ ‫غیر‬ ‫در‬
!‫آید‬ ‫وجود‬ ‫به‬ ‫ای‬‫ناخواسته‬ ‫و‬ ‫پنهان‬ ‫های‬‫همبستگی‬
- CPU 2.2GHz, L=231 → Whole cycle in 4.8 min's
- 1% of simulation time → Longest run = 8 hours

12. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۲
) ‫تصادفی‬ ‫اعداد‬ ‫مسأله‬) ‫تصادفی‬ ‫اعداد‬ ‫مسأله‬۲۲((
‌‫چالش‬۲:‫آماری‬ ‫خصوصیات‬ ‫دیگر‬ ‫انواع‬ ‫و‬ ‫توزیع‬ ‫یکنواختی‬
-.‫کنند‬‫نمی‬ ‫تأیید‬ ‫را‬ ‫تناوب‬ ‫دوره‬ ‫کل‬ ،‫یکنواختی‬ ‫های‬‫آزمون‬ ‫اغلب‬
-‫حداکثر‬ :‫دوبعدی‬ ‫یکنواختی‬ ‫ل‬‫ل‬ ‫مث‬O(3√L)‫ثابت‬ ‫)ضریب‬۱۶(
- L=231-1 → only 20,000 usable numbers!
- 1% of 8 hours simulation time → min L = 281.
-.‫است‬ ‫نیاز‬ ‫مورد‬ ‫ابعاد‬ ‫بیشتری‬ ‫تعداد‬ ‫در‬ ‫یکنواختی‬ ‫اعمل‬ ‫در‬
:‫‌گیری‬‫ه‬‫نتیج‬‫از‬ ‫استفاده‬PRNG‫مناسب‬ ‫های‬
- Mersenne Twister: L=219937-1, good in upto 623 dim's!
‌‫‌فرض‬‫ش‬‫‌سازی‌پی‬‫ه‬‫‌هایی‌که‌حتی‌از‌پیاد‬‫ه‬‫‌رغم‌وجود‌چنین‌گزین‬‫ی‬‫عل‬C‌‫‌تر‬‫ع‬‫‌سری‬
‌‫‌های‌ضعیف‌استفاده‬‫ی‬‫‌ساز‬‫ه‬‫‌ها‌همچنان‌از‌پیاد‬‫ه‬‫هستند،‌بسیاری‌ابزارها‌و‌کتابخان‬
‌‫‌کنند!‌)هشدار‬‫ی‬‫م‬Knuth‌‫‌در‬۱۹۶۹(!

13. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۳
‫نتایج‬ ‫درست‬ ‫تحلیل‬ ‫مسأله‬‫نتایج‬ ‫درست‬ ‫تحلیل‬ ‫مسأله‬
‫تصادفی‬ ‫فرایندهای‬←‫آماری‬ ‫آزمایش‬
-.‫شود‬ ‫استفاده‬ ‫آن‬ ‫نتایج‬ ‫تحلیل‬ ‫برای‬ ‫آماری‬ ‫های‬‫روش‬ ‫از‬ ‫باید‬
“... computer runs yield a mass of data but this mass
may turn into a mess if the random nature of such
output data is ignored, and then ... instead of an
expensive simulation model, a toss of the coin had
better be used.”

14. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۴
‫سؤالت‬ ‫انواع‬ ‫بندی‬‫دسته‬‫سؤالت‬ ‫انواع‬ ‫بندی‬‫دسته‬
‫پارامتر‬ ‫تخمین‬
‫بودن‬ ‫یکسان‬
‫رتبه‬ ‫تعیین‬
‫همبستگی‬
(‫)رگرسیون‬ ‫برازش‬
...
‫معناداری‬ / ‫خطا‬ ‫میزان‬ + ‫سؤال‬ ‫پاسخ‬ :‫نتیجه‬

15. ۱۳۹۵ ‫دی‬ ۱۱ ‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬ 15
‫تخمین‬ ‫اطمینان‬ ‫بازه‬ :‫مثال‬‫تخمین‬ ‫اطمینان‬ ‫بازه‬ :‫مثال‬
 Confidence Interval
- A well-known indicator of probabilistic uncertainty.
- There is an almost general method to calculate them
(bootstrapping).
- Is not bound to a specific uncertainty factor.
 Definition:
- Δ = [ 1, 2] is the confidence interval of if:τ τ τ δ τ
 Example: 0.95 confidence interval of [0.4, 0.6]
- The real value is in [0.4,0.6] with probability 0.95
  )Pr( 21

16. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۶
‫نمونه‬ ‫اندازه‬‫نمونه‬ ‫اندازه‬
‫کند؟‬ ‫پیدا‬ ‫ادامه‬ ‫باید‬ ‫چقدر‬ ‫برداری‬‫نمونه‬ ‫و‬ ‫سازی‬‫شبیه‬
-) ‫ثابت‬ ‫نمونه‬ ‫اندازه‬fixed-sample-size(
-) ‫ترتیبی‬ ‫سازی‬‫شبیه‬sequential simulation(
) ‫یابنده‬‫خاتمه‬ ‫سازی‬‫شبیه‬terminating(
-.‫شود‬ ‫تکرار‬ ‫کافی‬ ‫تعداد‬ ‫به‬ ‫سازی‬‫شبیه‬ ‫است‬ ‫کافی‬
) ‫ایستا‬ ‫حالت‬ ‫سازی‬‫شبیه‬steady-state(
-.‫شود‬ ‫جمع‬ ‫نمونه‬ ‫گذرا‬ ‫حالت‬ ‫در‬ ‫نباید‬ ‫تکرار‬ ‫بار‬ ‫هر‬ ‫در‬
-) ‫موازی‬ ‫اجرای‬ :‫بیشتر‬ ‫سراعت‬multiple replications in parallel(

17. ۱۳۹۵ ‫دی‬ ۱۱ ‫صاد‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬
‫نوگورانی‬ ‫دری‬ ‫ق‬
17
‌‫‌سازی‌یک‌شبکه‬‫ه‬‫نمونه:‌شبی‬‌‫‌سازی‌یک‌شبکه‬‫ه‬‫نمونه:‌شبی‬P2PP2P

18. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۸
‫پخش‬ ‫ارزیابی‬‫پخش‬ ‫ارزیابی‬

19. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۱۹
‫تصحیح‬ ‫فرکانس‬ ‫اثر‬‫تصحیح‬ ‫فرکانس‬ ‫اثر‬
‫و‬ ‫انگشتی‬ ‫جدول‬‫و‬ ‫انگشتی‬ ‫جدول‬
‫پایدارسازی‬‫پایدارسازی‬

20. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۲۰
‫افراز‬ ‫درخت‬ ‫مدیریت‬‫افراز‬ ‫درخت‬ ‫مدیریت‬

21. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۲۱
‫تی-استیودنت‬ ‫روش‬ ‫با‬ ‫اطمینان‬ ‫بازه‬ ‫طول‬ ‫تعیین‬‫تی-استیودنت‬ ‫روش‬ ‫با‬ ‫اطمینان‬ ‫بازه‬ ‫طول‬ ‫تعیین‬
‫مقدار‬tk-1,a/2
-‫مقدار‬t‫احتمال‬ ‫چگالی‬ ‫نمودار‬ ‫زیر‬ ‫سطح‬ ‫آن‬ ‫ازای‬ ‫به‬ ‫که‬Student-t
‫منهای‬ ‫یک‬ ‫با‬ ‫برابر‬a/2.‫شود‬‫می‬
-‫ل‬‫ل‬ ‫معمو‬ ‫آلفا‬۰.۰۵‫یا‬۰.۰۱.‫است‬

22. ۱۳۹۵ ‫دی‬ ۱۱ ‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬ 22
‫انداز‬‫راه‬ ‫خود‬ ‫روش‬ ‫با‬ ‫تخمین‬ ‫خطای‬ ‫تعیین‬‫انداز‬‫راه‬ ‫خود‬ ‫روش‬ ‫با‬ ‫تخمین‬ ‫خطای‬ ‫تعیین‬
 The Bootstrap Method
- A resampling-based method to measure accuracy of almost
any statistic using a simple Monte Carlo procedure.

23. 23

24. ۱۳۹۵ ‫دی‬ ۱۱ ‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬ 24
‫اطمینان‬ ‫بازه‬ ‫تعیین‬‫اطمینان‬ ‫بازه‬ ‫تعیین‬
‫معایب‬ ‫و‬ ‫مزایا‬
-:‫مزیت‬‫وسیع‬ ‫کاربردهای‬ ‫در‬ ‫استفاده‬ ‫قابلیت‬ ‫و‬ ‫کم‬ ‫فرضیات‬
-:‫عیب‬.‫دهد‬‫نمی‬ ‫بسته‬ ‫فرمول‬
-:‫عیب‬‫باید‬ ‫نمونه‬ ‫اندازه‬ ‫حداقل‬۳۰.‫باشد‬
-:‫عیب‬) ‫انداز‬‫خودراه‬ ‫تکرار‬ ‫تعداد‬ ‫با‬ ‫متناسب‬ ‫سربار‬b(

25. ۱۳۹۵ ‫دی‬ ۱۱‫نوگورانی‬ ‫دری‬ ‫صادق‬ - ‫سازی‬‫شبیه‬ ‫کمک‬ ‫با‬ ‫ای‬‫رایانه‬ ‫های‬‫سامانه‬ ‫ارزیابی‬۲۵
‫مراجع‬ ‫و‬ ‫منابع‬‫مراجع‬ ‫و‬ ‫منابع‬
 J. Banks, J. S. Carson II, B. L. Nelson, and D. M. Nicol, Discrete-Event
System Simulation, 4th ed. NJ, USA: Prentice Hall, 2005.
 K. Pawlikowski, “Do Not Trust All Simulation Studies of Telecommunication
Networks,” Invited talk at ICOIN'2003.
 K. Pawlikowski, “Steady-state Simulation of Queueing Processes: Survey of
Problems and Solutions,” ACM Comput. Surv., vol. 22, no. 2, pp. 123–170,
Jun. 1990.
 B. Efron and R. Tibshirani, “Bootstrap Methods for Standard Errors,
Confidence Intervals, and Other Measures of Statistical Accuracy,” Statistical
Science, vol. 1, no. 1, pp. 54–75, Feb. 1986.
 J. F. Pallant, SPSS Survival Manual: A step by step guide to data analysis
using the SPSS program. Crows Nest, NSW: Allen Unwin, 2011.