반복할수록 거짓이 되는 과학

Science is often praised for its self-correcting nature, a process in which peer review and replication supposedly filter out error.

과학은 흔히 자기 교정적 특성을 갖고 있다는 점에서 찬사를 받는데, 이는 동료 심사와 재현이 오류를 걸러 낸다고 여겨지는 과정이다.

In 2005, John Ioannidis, a physician-scientist now at Stanford, published a paper in PLOS Medicine arguing that most published research findings are probably false.

2005년, 현재 스탠퍼드에 재직 중인 의사이자 과학자인 존 이오아니디스는 출판된 연구 결과의 대부분이 거짓일 가능성이 높다고 주장하는 논문을 PLOS Medicine에 발표했다.

Journals prefer novel, positive results, so studies finding no significant effect go unpublished, leaving the literature skewed toward exciting but potentially unreliable claims.

학술지들은 새롭고 긍정적인 결과를 선호하므로, 유의미한 효과를 발견하지 못한 연구들은 출판되지 않은 채 남게 되고, 결과적으로 학술 문헌은 흥미롭지만 잠재적으로 신뢰할 수 없는 주장 쪽으로 편향된다.

Researchers compound the problem through p-hacking, where they test multiple variables or adjust analyses until crossing the p < 0.05 threshold.

연구자들은 p-해킹을 통해 이 문제를 가중시키는데, 이는 p < 0.05라는 기준을 넘을 때까지 여러 변수를 검정하거나 분석을 조정하는 행위이다.

When the Open Science Collaboration replicated one hundred published psychology experiments in 2015, only thirty-six produced consistent results, confirming what Ioannidis had argued and crystallizing a phenomenon now known as the replication crisis.

공개과학협력단이 2015년에 출판된 심리학 실험 100건을 재현했을 때, 일관된 결과를 낸 것은 36건에 불과했으며, 이오아니디스의 주장을 뒷받침하는 동시에 현재 재현 위기로 알려진 현상을 구체화했다.

The implications extend beyond any single failed experiment.

이러한 함의는 개별 실험의 실패를 넘어선다.

The very system built to guarantee reliable knowledge rewards novelty over reproducibility, turning its quality controls into engines of distortion.

신뢰할 수 있는 지식을 보장하기 위해 만들어진 바로 그 체계가 재현 가능성보다 새로움을 우대하면서, 자체 품질 관리 장치를 왜곡의 엔진으로 바꾸어 버린다.

Whether science can redesign these incentive structures will determine how much of the published record reflects genuine discovery rather than statistical artifact.

과학이 이러한 보상 구조를 재설계할 수 있는지가, 출판된 기록 중 얼마만큼이 통계적 허상이 아닌 진정한 발견을 반영하는지를 결정할 것이다.