Skip to Main Content

문헌검색을 위한 효과적 방법

비판적 평가는 무엇인가?

우리는 공식적이든 비공식적이든, 어떤 것이 우리의 목적에 가치가 있고 제공하는 내용이 믿을 만한 것을 판단하기 위하여 항상 정보를 비판적으로 평가한다.

문헌검색의 관점에서 비판적 평가는 발견한 연구를 체계적으로 평가하는 과정이다. 이를 통하여 그 연구의 질과 유효성을 결정할 수 있다. 이는 근거기반 의사결정에 반드시 필요하다.

보다 공식적으로 말한다면, 비판적 평가는 다음의 질문에 답하기 위한 연구논문의 체계적인 평가이다:

  • 이 연구는 명확하게 초점이 있는 질문을 다루고 있는가?
  • 연구는 이 질문을 다루기 위하여 정당하고 유효한 방법을 사용하고 있는가?
  • 연구형태에 따라서, 연구결과를 왜곡시킬 수 있는 요소가 있는가?
  • 이 연구의 유효한 결과는 중요한가?
  • 이 연구로부터 얻을 수 있는 결론의 한계는 무엇인가?
  • 일정 부분 유효하고 중요한 이 연구결과들이 본인의 연구에 이용가능한가?

연구의 질은 무엇이고, 어떻게 평가하는가?

본 기관(IFIS)2018년에 수행한 연구에서, 연구자들은 우수한 수준의 근거나 증거를 다음과 같은 요소로 정의한다고 답하였다:

  • 유명하다고 인정되거나 영향력지수(Impact Factor)를 가진 잡지의 논문.
  • 출판사의 지침에 따라 타연구자에 의해서 진행되는 논문심사과정.
  • 수준 높은 연구를 수행하는 연구자 및 소속기관, 그리고 그 동료 연구자.

달리 말하면, 연구자들은 자신들의 경험과 전문성을 사용하여 논문의 질을 평가한다.

하지만, 학생들과 초기의 연구자들은 그 정도의 경험을 갖기가 어렵고, 경험이 많은 연구자라 하더라도 어떤 때는(예를 들면 체계적 문헌고찰을 수행할 때) 연구논문의 유효성을 자세히 살펴보아야 할 필요가 있다.

비판적 평가에 도움이 될 수 있는 체크리스트(checklist)가 있다. 체크리스트는 특정 연구설계를 위한 핵심질문을 요약하고 있다관계되는 예들을 이 가이드의 비판적 평가  추가 자료 항목에서 찾아볼 수 있다.  

연구의 질과 평판과 같은 문제에 대해서 다음의 인사들과 의견을 나누는 것도 도움이 될 수 있다:

  • 연구동료 집단
  • 교수
  • 연구책임자(principal investigator, PI)
  • 작장상사와 선배
  • 도서관 사서
  • 학술잡지 논문 클럽(journal club). 기관이나 교수에 의해서 운영되면서, 정보를 발견하고 비판적으로 평가하는 데에 함께 협력하게 하는 모임이다.
  • 주제 중심의 모임

비판적 평가를 많이 수행해보면, 이에 대해 신속하면서도 신뢰할 수 있는 수준에 도달하게 될 것이다.