상사가 옆에서 지켜보면 평소보다 집중하고, 운동 기록을 시작하면 조금 더 걷게 되는 경험이 있습니다. 이런 장면은 흔히 호손 효과라는 말로 설명됩니다. 자신이 관찰되거나 연구에 참여하고 있음을 안다는 사실이 행동을 바꿀 수 있다는 뜻입니다. 다만 관찰하면 반드시 성과가 좋아진다는 법칙은 아닙니다. 무엇을 관찰하고 누가 관찰하는지에 따라 달라질 수 있으며, 변화를 관찰 때문이라고 판단하려면 다른 원인을 배제해야 합니다.
유명한 조명 실험 이야기는 얼마나 정확할까요
호손이라는 이름은 미국 시카고 인근의 웨스턴 일렉트릭 공장에서 진행된 연구에서 나왔습니다. 1920~1930년대에 작업 조건과 생산성을 살핀 여러 연구가 이루어졌습니다. 대중적인 설명에서는 조명을 밝게 해도 어둡게 해도 생산성이 올랐고, 노동자들이 관심을 받았기 때문이었다고 정리합니다. 이야기가 짧고 기억하기 쉬워 경영 교육에서도 널리 퍼졌습니다.
그러나 레빗과 리스트가 원래 조명 실험 자료를 다시 분석한 결과는 이 단순한 이야기를 지지하지 않았습니다. 연구진은 널리 알려진 극적인 패턴이 원자료에 그대로 나타나지 않는다고 보고하면서도, 실험적 조작에 대한 반응으로 해석할 수 있는 더 미묘한 가능성은 논의했습니다. 따라서 ‘원 연구가 관찰의 힘을 완벽히 입증했다’와 ‘관찰은 행동에 아무 영향도 없다’ 중 어느 쪽으로도 뛰어가면 안 됩니다.
호손 연구 전체를 하나의 조명 실험으로 부르는 것도 정확하지 않습니다. 조명 외에 작업 조건과 집단 관계 등을 다룬 연구들이 있었고 설계와 관찰 내용도 달랐습니다. 이름이 같은 역사적 연구 묶음에서 나온 설명을 현재의 모든 작업장에 적용하는 데는 한계가 있습니다. 어떤 자료를 재분석했는지와 그 분석이 어디까지 결론을 내렸는지를 구분해야 합니다.
관찰받는다는 사실은 여러 경로로 작용합니다
연구 참가자는 평가받는다고 느껴 더 조심할 수 있습니다. 연구자가 원하는 답을 추측해 그 방향으로 행동할 수도 있습니다. 평소에는 신경 쓰지 않던 습관을 설문에 답하면서 돌아볼 수도 있고, 기록 장치 때문에 행동을 실행하기가 번거로워질 수도 있습니다. 모두 연구 참여와 관련된 변화지만 같은 심리 기제는 아닙니다. 이를 전부 호손 효과 하나로 묶으면 실제 원인을 찾기 어려워집니다.
예를 들어 식사 일지를 쓰는 사람은 적는 과정에서 간식을 줄일 수 있습니다. 이 경우 누군가 보고 있다는 느낌이 아니라 자기 점검이 작용했을 수 있습니다. 손 씻기 관찰에서는 직원이 관찰자의 존재를 알아차렸을 때 행동이 달라질 수 있습니다. 시험장에서 카메라를 설치했을 때는 평가 불안 때문에 실수가 늘어날 수도 있습니다. 변화의 방향이 언제나 개선으로 고정돼 있지는 않습니다.
관찰자가 실제 행동을 바꾸지 않았는데 측정값만 달라지는 경우도 있습니다. 직원이 더 많이 일한 것이 아니라 기록을 더 꼼꼼히 남겼다면 장부상 성과는 증가합니다. 설문에서 바람직해 보이는 답을 했지만 생활은 그대로일 수도 있습니다. 행동의 변화, 보고의 변화, 측정 방법의 변화를 구분하지 않으면 자료를 보고 원인을 잘못 짚을 수 있습니다.
연구를 모아 보면 효과는 하나의 숫자로 정리되지 않습니다
매케임브리지 연구진의 2014년 체계적 문헌고찰은 연구 참여 효과를 의도적으로 평가한 19편을 살폈습니다. 여러 연구에서 참여에 따른 변화의 단서가 있었지만 연구의 질과 설계, 맥락이 달라 하나의 보편적인 효과 크기를 제시하기 어려웠습니다. 저자들은 호손 효과라는 모호한 이름보다 연구 참여가 어떤 방식으로 결과에 영향을 주는지 더 구체적인 개념과 연구가 필요하다고 보았습니다.
이 결과를 ‘호손 효과는 없다’고 요약해도 과하고, ‘관찰하면 생산성이 몇 퍼센트 오른다’고 요약해도 과합니다. 한 실험에서 관찰된 비율은 그 실험의 대상과 과제, 기간에 묶여 있습니다. 병원에서 위생 행동을 관찰한 결과를 소프트웨어 개발자의 창의성이나 학생의 장기 학습에 그대로 옮길 근거는 없습니다. 공통 이름이 붙었다고 동일한 처치가 되는 것은 아닙니다.
관찰 전후의 차이만으로는 원인을 알 수 없습니다
설명을 위한 예로 어떤 팀의 하루 처리 건수가 관찰 전 80건에서 관찰 후 100건으로 늘었다고 하겠습니다. 증가율은 (100−80)/80×100=25%입니다. 여기까지는 산술적인 기술입니다. 그러나 이 25% 전부를 관찰의 효과라고 부르려면 같은 기간에 다른 변화가 없었는지 알아야 합니다. 업무가 쉬워졌거나 사람이 늘었거나 작업자가 숙련됐을 가능성이 있습니다.
같은 시기에 관찰을 도입하지 않은 비교 팀도 80건에서 96건으로 늘었다면 공통 요인이 작용했을 수 있습니다. 관찰 팀의 증가 20건과 비교 팀의 증가 16건의 차이는 4건입니다. 하지만 이 차이도 두 팀이 관찰 도입을 제외하면 비슷한 추세를 보였을 것이라는 가정에 의존합니다. 업무 배정이나 구성원이 다르면 4건 역시 관찰만의 효과라고 단정할 수 없습니다.
성과가 유난히 낮은 주에만 관리자가 집중 관찰을 시작하면 평균으로의 회귀도 문제가 됩니다. 일시적으로 나쁜 결과 뒤에는 특별한 개입이 없어도 평소 수준에 가까워질 수 있습니다. 회복을 모두 관심의 효과로 해석하면 관리 방식의 성과를 과대평가합니다. 반대로 가장 잘한 주 뒤에 관찰을 시작했다면 이후 하락을 관찰의 해로 오해할 수 있습니다.
시험 삼아 확인하려면 무엇을 비교해야 할까요
먼저 알고 싶은 질문을 좁혀야 합니다. ‘사람은 관심을 받으면 좋아지는가’보다 ‘매일 진행 상황을 공개하는 회의가 오류 없이 마친 업무 수에 영향을 주는가’가 비교하기 쉽습니다. 관찰의 주체, 빈도, 공개 범위, 측정 지표를 정하면 어떤 요소를 바꿨는지 분명해집니다. 모든 조건을 한꺼번에 바꾸면 결과가 생겨도 무엇 때문인지 알기 어렵습니다.
가능하다면 비슷한 단위를 서로 다른 조건에 무작위로 배정하고 같은 방식으로 결과를 측정합니다. 다만 같은 팀 안에서 일부만 관찰하면 주변 사람에게 영향이 퍼질 수 있습니다. 업무를 공유하는 조직에서는 개인 단위 배정이 적절하지 않을 수도 있습니다. 충분한 기간을 두고 적응 이후에도 변화가 남는지 살펴야 하지만 기간이 길어질수록 다른 사건이 끼어들 가능성도 커집니다.
비교 집단도 자신이 연구에 참여한다는 사실을 알면 행동이 달라질 수 있습니다. 따라서 처치 집단과 비교 집단의 차이가 작다고 참여 효과가 전혀 없다고 말할 수는 없습니다. 두 집단 모두에게 공통으로 일어난 변화는 집단 간 차이에서 사라지기 때문입니다. 연구자가 알고 싶은 것이 특정 관찰 방식의 추가 효과인지, 연구에 들어온 것 자체의 효과인지 먼저 구분해야 합니다.
결과를 평가하는 사람의 기대도 관리할 필요가 있습니다. 평가자가 어떤 집단에 속했는지 알고 있다면 애매한 성과를 더 좋게 점수 매길 수 있습니다. 가능할 때는 집단 정보를 가리고 사전에 정한 기준으로 평가할 수 있습니다. 참가자에게 관찰을 숨기는 일은 윤리와 동의의 문제가 있으므로 측정 편의를 이유로 임의로 결정할 수 없습니다. 좋은 설계는 정확성과 참여자의 권리를 함께 고려합니다.
관심과 감시는 같은 경험이 아닙니다
도움이 필요한 지점을 물어보고 자원을 제공하는 관리와 모든 움직임을 감시하는 관리는 다릅니다. 둘 다 누군가 보고 있다는 느낌을 줄 수 있지만 신뢰와 자율성에 미치는 영향은 같지 않을 수 있습니다. 처리량만 단기적으로 올라가도 실수, 피로, 보고 누락이 늘었다면 성과를 좋게 평가하기 어렵습니다. 측정하는 목표가 실제로 원하는 목표를 얼마나 대변하는지 확인해야 합니다.
가령 상담 직원에게 통화 건수만 강조하면 통화가 짧아질 수 있습니다. 그러나 문제가 해결되지 않아 고객이 다시 전화하면 전체 업무량은 늘어납니다. 관찰받는 지표를 개선하는 행동이 서비스의 질을 개선하는 행동과 일치하는지 살펴야 합니다. 호손 효과라는 이름을 붙이는 것만으로 이런 지표의 부작용이 사라지는 것은 아닙니다.
개인적인 습관 기록에서도 같은 원리가 적용됩니다. 걸음 수를 기록한 뒤 더 걷게 됐다면 기록이 도움이 되었을 수 있습니다. 다만 계절이 바뀌어 날씨가 좋아졌거나 출퇴근 경로가 달라졌다면 영향을 나누어 생각해야 합니다. 개인에게 도움이 되는 도구를 쓰는 데 엄격한 실험이 항상 필요한 것은 아니지만, 그 경험을 모든 사람에게 적용되는 과학 법칙으로 소개할 때는 근거가 더 필요합니다.
호손 효과라는 설명을 들었을 때 확인할 것
먼저 실제로 관찰 여부를 비교했는지 확인합니다. 다음으로 행동 자체를 측정했는지 자기 보고만 받았는지 살펴봅니다. 성과가 어떤 방향으로 얼마나 변했고 그 변화가 얼마나 지속됐는지도 봅니다. 관심, 피드백, 보상, 업무 조건이 함께 바뀌었다면 관찰의 영향만 떼어 냈다고 보기 어렵습니다. 특정 기제를 확인하지 못했다면 여러 가능성 중 하나라고 표현하는 편이 정확합니다.
호손 효과는 연구와 일상의 행동이 측정 과정에서 달라질 수 있다는 유용한 경고입니다. 그러나 관찰만 하면 사람들이 더 열심히 일한다는 관리 비법으로 쓰기에는 너무 넓고 불분명한 말입니다. 변화가 보이면 무엇을 바꿨는지, 어떤 다른 이유가 가능한지, 누구에게 어떤 비용이 있었는지를 함께 물어야 합니다. 유명한 공장 일화보다 그 질문들이 현재의 문제를 이해하는 데 더 도움이 됩니다.