Recommended
More Related Content
Similar to SNA literature review
Similar to SNA literature review (20)
SNA literature review
- 2. 소셜네트워크와 개인 그룹의 업무능력 MIS 정민군, 2015-1 Ebiz 전략
- 3. 𝑏 논문정보 a 저자정보 RAYMOND T. SPARROWE 전 AMJ 편집자 현 경영학 조직행동론 교수 현 UIC 경영대학 관리학 교수
- 5. 연구대상𝑠 대형 대학교 소형제조업체 대형유통업체 생산공장 동일연구 프로젝트에 참여중인 소속의 일반인들
- 7. 연구대상𝑠 고졸 41.6% 전문 9.3% 준학사 13.3% 학사 21.2% 석박 3.5 업무기간학습기간 평균그룹 소속기간 20개월 평균 연령 32세 중졸 11.1% 인구통계학적 특징
- 9. 2. 왜 이 연구를 하였는가?
- 11. 3. 어떤 데이터 수집과 분석 방법을 사용하였나?
- 13. 연구모델𝑚 멀 티 레 벨 모 델 그룹 레벨 조언네트워크 중심성 방해네트워크 중심성 조언네트워크 밀도 방해네트워크 밀도 조언네트워크 중심화 긍정적인 교류 & 그룹의 업무 능력 긍정적인 교류 & 그룹의 업무 능력 조직구조 복잡화 & 그룹의 업무능력 긍정적인 교류 & 개인의 업무 능력 부정적인 교류 & 개인의 업무 능력 개인 레벨
- 14. 𝐻3𝑎: 업무그룹의 조언 네트워크의 밀도는 그룹의 업무능력과 양의 관계이다. 𝐻4: 업무그룹의 방해네트워크의 밀도는 그룹 업무능력과 음의 관계이다. 𝐻3𝑏: 업무그룹의 조언네트워크 중심화는 그룹의 업무능력과 음의 관계이다. 𝑚 연구모델 멀 티 레 벨 모 델 그룹 레벨 𝐻1: 업무그룹의 조언 네트워크의 중심성은 개인의 업무능력과 양의 관계이다. 𝐻2: 업무그룹의 방해 네트워크의 중심성은 개인의 업무능력과 음의 관계이다. 개인 레벨
- 15. 샘플링𝑠 대형 대학교 9개 그룹 소형제조업체 5개 그룹 대형유통업체 8개 그룹 생산공장1 생산공장2 x 16개 그룹 저응답률 팀 제거 38개 그룹 190명 최종 참가 그룹당 평균 인원 5명(리더 제외) 인원부족시 중앙값으로 보충(11.4%) Ln ? 80%
- 16. 𝑒 측정방법 7점 척도 (3문항) 1 〮〮〮 4 〮〮〮 7 1. 업무관련 조언을 누구에게 구합니까? 전혀없음 〮〮〮 조금있음 〮〮〮 매우 강함 2. 1번문항의 사람에게 업무기밀도 얘기합니까? 3. 1번 문항의 사람이 당신이 일하는데 힘들게 합니까? 네트워크와 네트워크 중심성 다음의 질문들에 대해 주관식의 답을 하고 그 사람과의 강도에 체크하시오
- 17. 𝑒 측정방법 7점 척도 (13-1=12문항) 1 〮〮〮 4 〮〮〮 7 1. 해당인물은 주요 업무능력이 뛰어납니까? 안뛰어남 〮〮〮 보통 〮〮〮 매우 뛰어남 개인 업무능력관련 문항 그룹의 리더분들은 각 구성원에 대해 다음의 질문들에 대해 답변을 하시오. 6점 altruism 척도 (1문항) 전혀아님 〮〮〮 〮〮〮 〮〮〮 〮〮〮 매우그럼 1. 이 사람은 다른 사람이 결석하면 대신 일해 줄것 같습니까?
- 18. 𝑒 측정방법 그룹 업무능력관련 문항 그룹의 리더분들은 각 팀의 업무능력에 대해 평가하십시오. 7점 척도 (7문항) 1 〮〮〮 4 〮〮〮 7 1. 해당그룹은 주요 업무능력이 뛰어납니까? 안뛰어남 〮〮〮 보통 〮〮〮 뛰어남
- 19. 4. 무엇을 발견했는가?
- 20. 기술통계 고정 효과 평균 표준편치 1 2 3 4 5 6 7 8 조직1 0.02 0.40 조직2 0.17 0.38 -0.23 조직3 0.09 0.29 -0.16 -0.11 조직4 0.34 0.48 -0.36 -0.33 -0.23 조직5 0.19 0.40 -0.25 -0.23 -0.15 -0.36 주업무능력 5.83 0.79 0.17 -0.1 0.24 -0.17 -0.04 추가업무능력 5.53 1.27 0.31 -0.21 0.37 -0.19 -0.14 0.65 조언 중심도 3.52 1.04 0.10 0.19 0.00 -0.27 0.03 0.26 0.22 방해 중심도 1.49 0.66 0.02 0.13 -0.06 -0.01 -0.09 -0.30 -0.27 -0.09 𝑠 테이블 개인수준의 상호관계
- 21. 기술통계 고정 효과 평균 표준편치 1 2 3 4 5 6 7 8 조직1 0.24 0.42 조직2 0.16 0.42 -0.24 조직3 0.13 0.33 -0.22 -0.17 조직4 021 0.30 -0.29 -0.22 -0.20 조직5 0.26 0.43 -0.33 -0.26 -0.23 -0.31 그룹업무능력 4.66 0.90 0.26 -0.21 0.45 -0.09 -0.34 조언네트밀도 1.87 0.09 0.12 0.48 0.16 -0.32 -0.09 -0.05 조언네트중심 218.17 101.69 0.32 0.01 0.05 -0.11 -0.25 -0.15 0.12 방해네트밀도 0.21 0.06 0.09 0.32 -0.10 -0.07 -0.21 -0.36 0.28 0.16 𝑠 테이블 그룹수준의 상호관계
- 22. 가설검증 테이블 개인수준 회귀분석 결과 ℎ Variable In-Role Performance Extra-role Performance B s.e. b s.e. b s.e. b s.e. Step 1: Control variables Intercept 5.64 0.09 5.58 0.22 5.19 0.14 5.12 0.33 Organization 1 0.80** 0.21 0.69** 0.19 1.12** 0.22 0.99** 0.22 Organization 2 0.45** 0.16 0.36 0.15 -0.23 0.23 -0.33 0.23 Organization 3 0.01 0.16 -0.06 0.16 1.81** 0.3 1.67** 0.28 Organization 4 0.12 0.16 0.01 0.15 -0.02 0.23 -0.18 0.21 𝑹 𝟐 .10 27 F 5.33** 17.09 Step 2: Centrality Advice network (𝐻1) 0.18** 0.05 0.23** 0.08 Hindrance network (𝐻2) -0.33** 0.08 -0.46** 0.01 ∆𝑹 𝟐 0.13 0.10 ∆𝑭 15.33** 13.84** Overall adjusted 𝑹 𝟐 0.23 0.35 Overall F 9.22** 17.60**
- 23. 가설검증 테이블 그룹 수준 회귀분석 결과 Variable In-Role Performance B s.e. b s.e. Step 1: Control variables Intercept 4.20 0.22 5.22 0.63 Organization 1 0.85* 0.33 1.19 0.31 Organization 2 0.06 0.37 0.45 0.38 Organization 3 1.40** 0.39 1.51** 0.34 Organization 4 0.32 0.34 0.46 0.30 𝑹 𝟐 0.35 F 4.48** Step 2: Network Structure Advice network density (𝐻3𝑎) 0.17 0.28 Hindrance network density (𝐻4) -4.97** 1.74 Advice network Centrealizetion (𝐻3𝑏) -0.02* 0.00 0.20 ∆𝑹 𝟐 4.35* ∆𝑭 0.44 Overall adjusted 𝑹 𝟐 Overall F 5.21** ℎ
- 24. 연구 결과가 어떤 교훈을 주는가
- 25. 도출사항𝑖 개인수준 조언네트워크 중심에 있는 개인은 높은업무 역량을 보였다 방해네트워크 중심에 있는 개인은 낮은업무 역량을 보였다 그룹수준 그룹 밀도와 그룹업무역량의 관계는 밝혀지지 않았으나 문항에 일반 조언이 아닌 업무관련 조언 항목들을 더 넣었다면 증명되었을지도 모른다 모순되게도 중심성은 개인의 업무역량에는 긍정적이지만 그룹의 업무에는 간단한 업무의 경우만 긍정적으로 작용한다 해당 실험의 업무는 어려웠음으로 당연히 부정적으로 작용하였다
- 26. 이 연구의 문제점과 향후 연구 방향
- 27. 한계 문제𝑙 문제 한계점 논문 제시 현재연구와 선행연구 모두 어떤 특정 행동이 방해 행동인지 밝혀내지 못하였다 방해되는걸로 판명된 인물들이 진짜로 방해를 하는건지 단순히 다수에 반대한건지 알 수 없다 사회적관점에서 봤을때 개인 그룹 업무능력 평가가 편향되어있다 해당 논문에서는 네트워크 구조가 개인의 업무능력에 앞서나 실제로는 쌍방이거나 그 반대도 가능하다 방해요소 네트워크 측정시 한가지 척도만을 사용하였다 문제 한계점 발표자 제시 사회적 관점 뿐만아니라 객관적으로도 리더들이 어떤 사람들인지에 대한 정보가 없어 그들의 문제 이해정도와 답변의 완성도 등에 의문이 든다
- 29. #10 소셜네트워크 관점에서 보는 관계적/팀 특성이 개인의 성과에 미치는 영향 MIS 정민군, 2015-1 Ebiz 전략
- 30. 𝑏 논문정보 Kate Ehrlich 캘리포니아 IBM 수석연구원 Ph.D. Cognitive Psychology Inga Carboni 레이몬드. A 경영대학 교수 Ph.D. in Organization Studies a 저자정보 Human Resource Management, July–August 2013, Vol. 52, No. 4. p. 511–535 ⓒ 2013 Wiley Periodicals, Inc.
- 31. 1. 무엇을 연구하였는가?
- 32. 다양한 업무위치 (팀별 커뮤니케이션 강도가 떨어짐) 연구대상 미국 기반 IT업체 (소프트/하드웨어 기반서비스 제공) 주로 큰 규모의 조직 대상 (비이익단체, 소매, 제작업체 등) 팀소속 보다 개인역할 주시 (팀장보다 기능부서장에게 보고) US 𝑠
- 33. 연구대상 회계 … 생산 팀 #1 관리자 팀 #57 관리자 … 고위 관리자 팀 구조 기능적 구조 매트릭스 구조 지역 담당 x3 3개의 지역 관리자 참가 미국 내 800팀중 60개팀 선정 통합이 잘(않)되는 그룹 각 50% 구성 총 53팀 1,039 명 참가 𝑠
- 34. 𝑜 연구주제 회계 … 생산 기능적 구조 네트워크에서의 비정형적 업무역할의 영향력 파악 팀 #1 관리자 팀 #57 관리자 … 팀 구조 매트릭스 구조 지역 담당 고위 관리자
- 35. 2. 왜 이 연구를 하였는가?
- 36. 𝑟 연구목표 업무디자인과 네트워크 특성의 관계 파악
- 37. 𝑟 연구목표 액터중심 분석 -> 액터에 대한 집단영향력 분석
- 38. 3. 어떤 데이터 수집과 분석 방법을 사용하였나?
- 40. 𝐻4: 팀의 평균 근속기간은 BC와 개인 업무능력간의 관계에 영향을 줄것이다. 𝑚 연구모델 멀 티 레 벨 모 델 그룹 레벨 개인 레벨 𝐻1: Coreness Centrality는 개인의 업무능력에 양의 관계이다. 𝐻2: Betweenness Centrality는 개인의 업무능력에 양의 관계이다. 𝐻3: 개인의 근속기간은 BC와 개인 업무능력의 관계에 영향을 줄것이다. 𝐻5: 팀 평균 근속기간은 CC와 개인 업무능력간의 관계에 영향을 줄것이다. 𝐻6: 팀의 업무능력은 CC와 개인 업무능력간의 관계에 영향을 줄것이다.
- 41. 샘플링 응답률 77% 예상참가자 898명 80% 저응답률 팀 제거 ? ! 실제참가자 30팀 285명 𝑡 𝑣𝑎𝑙𝑢𝑒 팀 평균 근속기간 개인 업무능력 팀내 성비구성 𝑠
- 42. BetweennessCentrality(표준매개중심성) • 두노드 간 최단 경로에 있는 노드 • 높은수록 많은 경로상에 놓여있음 Coreness Centrality • 비방향 의사소통 네트워크에서의 위치 • 높은수록 팀구조의 중앙에 가까움 Tenure(근속연수) • 얼마나 오래 일했는지를 나타내는 변수 • 1년이하, 1~2년, 2~3년, 4년이상 팀 업무능력 • 부사장들이 평가 • 고능력(1), 저능력(0) 주요변수𝑥 C C 독립변수 개인 업무능력 • 연간 업무능력평가에 기반 • 1~4까지 높을수록 능력이 높음 종속변수
- 43. 성별 • 남1, 여 0 업무숙련도 • 업무능력과 직접적으로 연관 • 설문 평가값/가능한최대값 리더 • 실제 리더 1, 아니면 0 밀도 • 비방향매트릭스시 평균 중심성과 동일 • 팀간 쌍방 의사소통 양 차이 조정 내부중심성(표준) • 의사소통의 대상이 되는 정도 • 내향타이의 수 팀크기 • 크기가 작을수록 의사소통이 자주 발생 • 밀도같이 의사소통 구조에 영향 가능 외부중심성 • 의사소통의 주체가 되는 정도 • 외향타이의 수 통제변수 C C 𝑐
- 44. 𝑒 측정방법 1 2 3 4 5 1. 이 사람과 고객관련 대화를 얼마나 자주합니까?(대칭) 전혀안함 〮〮〮 〮〮〮 〮〮〮 매우자주/매일 2. 이 사람은 자신의 일에 능숙하다.(비대칭) 전혀아님 〮〮〮 〮〮〮 그렇다 매우 그렇다 팀원간 상호질답 𝒙𝒊𝒋 결과값 4 이상부터 유효값 1로 취급 리커트 척도 활용 설문조사
- 45. 4. 무엇을 발견했는가?
- 46. 기술통계 변수 평균 표준편차 1 2 3 4 5 6 7 8 1. 성별 .26 .44 2. 리더 .06 .25 .07 3. 개인근속년수 2.84 1.19 -0.3 .11 4. 숙련도 56.46 25.95 -.15 .35 .26 5. 내향중심성 .49 .90 -.10 .41 .09 .64 6. 외향중심성 .53 .42 -.13 .33 .07 .54 .70 7. 매개중심성 .05 .11 .02 .44 .08 .36 .47 .50 8. Coreness 중심성 .20 .19 -.04 .55 .04 .56 .70 .60 .64 9. 개인 업무능력 2.81 .83 .05 -.02 .03 .09 -.03 -.03 -.05 -.03 𝑠
- 47. 기술통계 변수 평균 표준편차 1 2 3 4 5 6 7 8 1. 성별 .26 .44 2. 리더 .06 .25 .07 3. 개인근속년수 2.84 1.19 -0.3 .11 4. 숙련도 56.46 25.95 -.15 .35 .26 5. 내향중심성 .49 .90 -.10 .41 .09 .64 6. 외향중심성 .53 .42 -.13 .33 .07 .54 .70 7. 매개중심성 .05 .11 .02 .44 .08 .36 .47 .50 8. Coreness 중심성 .20 .19 -.04 .55 .04 .56 .70 .60 .64 9. 개인 업무능력 2.81 .83 .05 -.02 .03 .09 -.03 -.03 -.05 -.03 중심성에 영향을 줌 CC 𝑠
- 48. 변수 평균 표준편차 1 2 3 4 5 6 7 8 1. 성별 .26 .44 2. 리더 .06 .25 .07 3. 개인근속년수 2.84 1.19 -0.3 .11 4. 숙련도 56.46 25.95 -.15 .35 .26 5. 내향중심성 .49 .90 -.10 .41 .09 .64 6. 외향중심성 .53 .42 -.13 .33 .07 .54 .70 7. 매개중심성 .05 .11 .02 .44 .08 .36 .47 .50 8. Coreness 중심성 .20 .19 -.04 .55 .04 .56 .70 .60 .64 9. 개인 업무능력 2.81 .83 .05 -.02 .03 .09 -.03 -.03 -.05 -.03 종속변수에 직접 영향 기술통계𝑠
- 49. 변수 평균 표준편차 1 2 3 4 5 6 7 8 1. 성별 .26 .44 2. 리더 .06 .25 .07 3. 개인근속년수 2.84 1.19 -0.3 .11 4. 숙련도 56.46 25.95 -.15 .35 .26 5. 내향중심성 .49 .90 -.10 .41 .09 .64 6. 외향중심성 .53 .42 -.13 .33 .07 .54 .70 7. 매개중심성 .05 .11 .02 .44 .08 .36 .47 .50 8. Coreness 중심성 .20 .19 -.04 .55 .04 .56 .70 .60 .64 9. 개인 업무능력 2.81 .83 .05 -.02 .03 .09 -.03 -.03 -.05 -.03 다중공선성문제 없음 기술통계 VIFs 1.05~3.12 CIs <4 𝑠
- 50. 기술통계 변수 평균 표준편차 밀도 크기 평균근속연수 1. 밀도 .29 .15 2. 크기 12.8 .73 -.59 3. 평균근속년수 2.82 .49 .26 -.05 4. 팀업무능력 .63 .49 .28 -.44 2.8 𝑠 팀 크기는 통제변수로 활용되기 충분한 영향력을 가짐 평균근속년수와 팀 업무능력은 충분한 통계적 유의성을 갖지 못함
- 51. 기술통계 임의 효과 Drop in Deviance Score 𝑠
- 52. 기술통계 고정 효과 Model 2 Controls Only Model 3A H1 Model 3B H2 Model 3C Model 4 H3 Model 5a H4 Model 5b H5 Model 5c Model 6 H6 Model 7 Summary Mode 방해 2.1786 2.1636 2.0034 1.1000 1.9828 2.0609 2.1650 2.1631 2.0763 2.1774 외부지향성 0.0241 0.0100 -0.0348 -0.0200 -0.0660 -0.0757 -0.0267 -0.0297 0.0413 0.0282 내부지향성 -0.2537 -0.2312 -0.4121 -0.4034 -0.3597 -0.3574 -0.3835 -0.3829 -0.2244 -0.2848 성별 0.1533 0.1590 0.1790 0.1788 0.1696 0.1758 0.1872 0.1872 0.1862 0.1945 리더 0.2205 -0.1803 -0.170374 -0.1546 -0.0790 -0.0688 -0.0973 -0.0946 -0.0744 -0.0849 개인근속년수 -0.0002 -0.0005 0.0065 0.0075 -0.0049 0.0037 -0.0129 -0.0123 -0.0170 -0.0182 업무숙련도 0.0080 0.0080 0.0073 0.0073 0.0069 0.0069 0.0071 0.0071 0.0059 0.0064 팀근속년수 평균 0.1745 0.1747 0.2256 0.2240 0.2160 0.1885 0.1414 0.1425 0.1997 0.1543 밀도 0.5681 0.5772 0.5843 0.5975 0.6439 0.6540 0.7032 0.7013 0.6146 0.6631 팀 크기 -0.009 -0.0006 -0.0017 -0.0016 -0.0008 -0.0009 -0.001 -0.0002 -0.0019 -0.0015 팀 업무능력 0.072 0.0815 0.0534 0.0544 0.0736 0.0667 0.0738 0.0730 0.0272 0.0391 𝑠
- 53. 가설검증 테이블 ℎ
- 54. 가설검증 각 가설별 활용 모델 ℎ
- 55. 가설검증 가설 참 거짓 여부 ℎ
- 56. 가설검증 𝐻1 는 개인의 업무능력에 양의 관계이다 모델 에서 거짓 𝐻2 는 개인의 업무능력에 양의 관계이다 모델 에서 거짓 거짓 가설들 𝐻4 팀의 평균 근속기간은 와 개인 업무능력간의 관계에 영향을 줄것이다 단독모델 에서는 참이나 혼합모델 에서 거짓 거짓 팀근속년수 ℎ
- 57. 𝑟 가설검증 참 가설들 개 인 의 업 무 능 력 𝐻3 개인의 근속기간은 𝐵𝐶와 개인업무능력의 관계에 영향을 줄것이다 • 모델 𝛽 참 • 가 낮으면 근속년수가 개인의 업무능력에 큰 영향력을 갖지 못함 근속연수가 길어질수록 업무보다 사내정치에 치중하고 있을 확률이 큼 근속년수 백분위 근속년수 백분위
- 58. 𝑟 가설검증 개 인 의 업 무 능 력 평균근속년수 백분위 평균근속년수 백분위 • 모델 참 • 모델 참 • 팀근속년수가 낮을수록 와 개인 업무능력간의 관련성은 낮아짐 신생팀에서 커뮤니케이션 네트워크 위치는 개인의 업무능력에 덜 중요함 𝐻5 팀 평균 근속기간은 와 개인 업무능력간의 관계에 영향을 줄것이다 참 가설들
- 59. 𝑟 가설검증 개 인 의 업 무 능 력 고능력팀 저능력팀 𝐻6 팀의 업무능력은 와 개인 업무능력간의 관계에 영향을 줄것이다 참 • 모델 참 • 모델 참 • 근속년수가 낮을수록 와 개인 업무능력간의 관련성은 낮아짐 업무효율이 떨어지는 팀일수록 중심에 위치하는 사람의 업무능력이 고 평가됨 참 가설들
- 60. 연구 결과가 어떤 교훈을 주는가
- 61. 도출사항𝑖 개인수준 네트워크에 의해 할당된 비정형적 역할은 개인의 업무능력에 직접 영향을 준다 단 팀특성등을 고려할때 정형화된 역할이 필요할 수 있다 는 높은 근속연수가 길거나 업무능력이 좋은 팀에서만 개인업무능력을 예측할 수 있다 는 개인근속연수로 개인업무능력을 예측할 수 있다 하지만 두 중심성 모두 개인업무역량에 주요한 영향을 미치진 않는다 높은 매개중심성은 팀의 불화를 의미하는 것일 수 있다 은 근속기간이 긴 개인들에게 부담스러울 수 있다 팀 근속기간 평균은 중심도 두가지에 영향을 주나 이는 근속기간이 긴 팀에서만 유효하다 는 자신만의 독특한 역할을 가지고 있다 이는 가 하부조직에 속하는 것과 매게역할에서 오는 두가지 장점을 모두 가지는데에 있다 개인근속기간은 팀근속기간이 길수록 업무역량에 도움을 준다
- 62. 도출사항𝑖 팀 수준 팀 업무역량이 와 개인업무역량에 영향을 주나 양의 관계에 있는 경우는 업무역량이 높은 팀의 경우에 한한다 인지된 개인의 업무숙련도를 조정한것과 높은 업무능률의 팀과 낮은 업무능률의 팀간의 차이가 거의 없는 점들을 미루어 보았을떄 높은 업무능률의 팀이라고 맴버들이 좋은것을 의미하지 않는다 결론적으로 는 개인의 업무능력에 긍정적 영향을 주나 특정한 성격을 가진 팀에서만 그러하다
- 63. 기여 의미𝑐 기여 관계적 에 대한 연구를 확장함 사회구조가 과 업무능력간의 관계에 영향을 줄 수 있는 것을 확인함 업무간 상호의존성이나 개인상호간 피드백 개인의 업무네트워크와 업무역량의 관계 관계적 협력등의 미래연구의 기반을 마련함 소셜네트워크 기반 연구에 다음과 같은 점들을 제시함 중심성들 만으로 개인의 업무역량 설명을 하기 어려울 수 있음 발견함 네트워크간의 관계와 개인의 업무성과의 관계에 팀 특성이 어떻게 영향을 미치는지 설명 하였음 멀티레벨 실험을 통해 전혀 다른 수준의 요소들을 활용하였음 중심성을 이용한 최초의 개인 업무능력 실험이었음 의미 인사담당자들에게 에 관련된 새로운 이슈를 제공함 개인 업무능력을 최적화할 수 있는 조직구조를 찾을때 유용함 팀의 중심에 다가가기 위해 팀에 적응하는 개인에 대한 포상 시스템을 구축할 수 있게 함 네트워크에서 역할의 중요성을 깨닫게 하고 이를 관리하게 하는 노력을 할 수 있게 함
- 64. 이 연구의 문제점과 향후 연구 방향
- 65. 한계 문제𝑙 문제 한계점 논문제시 필자가 개인의 위치가 개인의 업무역량에 영향을 준다고 주장한데 반하여 해당 연구는 개인의 업무능력이 다른 네트워크 위치로의 채택으로 이끌 수 있는 가능성 개인의 업무능력과 네트워크 구조가 상호 관계가 있을 가능성들을 배제하지 않았다 가 통계 자료에서 발견되었다 하지만 그 수치가 결과를 뒤집을 만큼 크지않다 모든 분석이 각 답변의 비율을 테스트하는 을 사용하다보니 결과 패턴이 똑같이 나왔다 문제 한계점 발표자제시 계층적 레벨 모델에서 정확히 어떤 파라메터들을 통제하여 모델들을 만들었는지에 대해 설명되지 않아 해당 모델을 다른 실험에서 재사용하기 힘들다 숙련도의 중요성에 대해서 계속 나왔으나 해당 수치는 서로 만날 기회조차 별로 없는 조직원간의 주관적인 평가이며 보고구조상 자기와 같은 분야가 아니면 정확한 판단이 힘들다 해당 실험의 샘플은 비교적 낮은 근속연수의 여직원 위주의 샘플에서 나온 결과이며 영업팀의 특성만이 반영되었다 즉 해당 회사나 사업 전반의 특성으로 보기 힘들다