퍼펙트윈(PerfecTwin)의 실거래 자동 검증 방식은 기존의 테스트 방식이 가지고 있는 어떤 측면의 문제점과 한계를 개선하고 극복한 것일까요?

기존 테스트 방식의 문제 해결

기존 테스트 방식의 문제 해결 관점에서 PerfecTwin에 대해 좀 더 자세히 살펴보고, 주요 적용 사례 및 적용 시 기대 효과와 Value에 대해 알아보겠습니다.

● 테스트 시나리오•케이스 작성 및 검토 불필요

테스트 시나리오•케이스를 작성하기 위해서는 해당 비즈니스에 대한 높은 수준의 업무 이해가 필요합니다. 그러나, 전문적인 역량을 갖춘 엔지니어라 하더라도 프로젝트라는 제한된 시간 내에 현실 세계에서 발생하는 모든 유형의 케이스를 시나리오로 도출 및 시나리오별 케이스를 작성하는 것은 불가능합니다. 각 테스트 케이스에는 업무적인 조건뿐만 아니라, 조건별 입력값 그리고 입력값에 의한 예상 출력값 등을 모두 정의해야 하기 때문입니다.

그러나, PerfecTwin을 적용하면 테스트 수행 전 미리 비즈니스 시나리오•케이스를 정의할 필요가 없습니다. AS-IS 운영 시스템에서 발생하는 거래가 그대로 TO-BE 시스템의 테스트 시나리오•케이스가 되기 때문입니다.

실제 상황에서 발생한 다양한 거래 유형이 TO-BE 시스템에서 자동으로 테스트가 되므로 발생했던 업무 케이스를 모두 비교 검증할 수 있어 잠재된 결함을 100% 찾아 제거할 수 있게 됩니다.

● 실시간, 대량 데이터의 Capturing

테스트를 할 때 고민되는 부분 중 가장 중요한 한 가지는 바로 ‘어떤 데이터로 테스트를 수행할 것인가?’입니다.

개발자는 단위 테스트를 앞두고 서비스마다 임의 데이터를 생성해 테스트를 수행합니다. 또한, 다른 서비스와의 인터페이스 테스트를 위해 데이터 생성 요청 및 기관별 테스트 협조를 모두 받아야 합니다. 그러나, 이러한 방식은 대부분 실제 환경에서 발생하는 다양한 예외 데이터를 포함하지 못하며, 수작업으로 일일이 테스트하는 것 또한 불가능하다고 할 수 있습니다.

PerfecTwin은 이러한 서비스별 처리 조건에 따른 데이터 생성에 대한 고민을 운영 중인 시스템에서 실시간 네트워크 패킷 캡처 또는 로그 캡처를 통해 AS-IS의 거래 데이터를 TO-BE 시스템으로 자동 변환해 실시간 또는 대량으로 생성함으로써 해결했습니다.

● 테스트 수행

테스트 시나리오•케이스와 데이터가 준비되면 개발자, 설계자, 업무 리더, IT 고객 파트너 등 프로젝트의 다양한 역할자들이 테스트를 진행합니다. 프로젝트 기간 테스트 범위를 조금씩 확장해가면서 테스트를 하지만, 제한된 기간과 자원으로 인해 동일한 업무 coverage를 반복적으로 테스트하지는 못하는 것이 현실입니다.

기능에 대한 테스트가 어느 정도 완성도 있게 완료된 시점이 되면, 특정 업무영역에 대해 성능 시나리오•케이스를 정의해 수행합니다만, 모든 업무를 대상으로 일괄적으로 수행하지 못하는 것입니다.

PerfecTwin은 AS-IS의 실거래로 TO-BE 시스템을 호출하는 방식이므로 실제 발생하는 업무 흐름에 따라 적용 업무 100%를 자동으로, 반복적으로 테스트할 수 있습니다. 또한, 전체 서비스 중 기존 운영 시스템과 비교해 TO-BE의 서비스 요청 대비 응답 시간을 서비스별(1:1)로 비교해 어떤 서비스가 느린지를 즉각 확인할 수 있으며, TO-BE 시스템의 튜닝 작업이 충분한지, 추가 튜닝의 필요성 여부를 객관적으로 판단할 수 있는 근거를 제공합니다.

● 테스트 결과 확인

테스트를 수행한 후 그 결과가 올바른지, 잘못되었는지 확인하는 방법은 다양합니다. 화면을 통해 업무 흐름대로 테스트를 수행하면서 나오는 결괏값을 확인하거나, DB에 저장된 데이터를 query해 확인할 수 있습니다.

화면에서 처리된 결괏값을 확인할 경우, 사람은 그것을 일부 놓칠 수 있으나 PerfecTwin은 AS-IS와 TO-BE의 금액이 1원이라도 다르면 ‘실패’로 판정합니다. 이처럼 PerfecTwin은 PerfecTwin을 적용한 업무 서비스의 수행 커버리지가 얼마나 되는지, 성공 또는 실패 서비스는 무엇인지, 어떤 서비스에서 성능(응답 시간) 차이가 발생하는지 등 결과 확인을 Analyzer라는 PerfeTwin의 포탈 화면을 통해 바로 확인할 수가 있습니다.

● 적용 사례

실거래 자동 검증 솔루션은 2017년 개발되어 현재까지 10여 개의 다양한 IT 사업 유형에 적용하면서 그 Reference를 확장해 가고 있습니다.

2019년 K생명 차세대 프로젝트, N카드 차세대 프로젝트의 오픈 성공에 기여하면서 그 효율을 입증했으며, S클라우드 전환 사업에서는 전환된 시스템의 성능이 예측했던 수준과 유사한지, 적용한 클라우드 사양이 유의미한 수준 인지를 PerfecTwin을 통해 확인하고 판단할 수 있었습니다.

K생명은 2019년 차세대 프로젝트 후 2020년 현재 운영 업무에 도입해 값 검증에 사용하고 있으며, U사의 기업 정보 시스템에서도 도입을 앞두고 있습니다.

PerfecTwin에 의한 실거래 자동 검증의 효과는 품질 혁신과 비용 절감

이처럼 실거래 자동 검증은 AS-IS 시스템의 실거래 업무 흐름이 TO-BE 시스템의 테스트 케이스가 되어 TO-BE 시스템을 자동으로 실행함으로써 두 시스템의 각 요청 대비 응답 결과가 서로 일치하는지를 자동으로 비교 검증합니다.

이 방식은 신규 시스템이 오픈되기 전인데도 불구하고 실제 오픈해 운영하는 것과 같이 테스트를 하는 것과 같습니다. 오픈 후에도 문제없이 시스템이 동작할지를 가시적으로 확인해 결함을 100% 제거한 것을 확인하고, ‘오픈해도 문제없겠어.’라는 확신을 가지도록 해줍니다.

이를 통해 TO-BE 시스템에서 사람이 개별적으로는 찾을 수 없는 잠재된 결함까지 모두 식별해 완벽히 제거함으로써 시스템의 품질을 획기적으로 향상시킬 수 있습니다.

또한, 오픈을 앞두고 대규모 인원을 동원해 테스트를 수행하는 비용을 절감할 수 있습니다. 수백만 건 이상의 대량 실거래 데이터를 TO-BE 시스템에 그대로 재현한다는 것은, 수많은 인원을 투입해도 짧은 시간 내에 사람이 테스트할 수 있는 범위를 넘어서 테스트할 수 있다는 것을 의미합니다.

SI, SM, 클라우드 전환, 인프라 교체 사업의 품질 개선 효과 및 비용 절감, 오픈 후 장애 예방 및 안정적 운영에 기여하는 혁신적인 솔루션, PerfecTwin

이제 테스트를 위한 수많은 인력과 자원, 오픈 의사결정을 위한 고민의 시간, 안정화 기간의 유지 등에 소요되는 모든 비용을 PerfecTwin을 통해 절감함으로써 IT 시스템 구축 프로젝트 수행 방식의 혁신을 이룰 수 있을 것입니다.

글 l LG CNS 솔루션사업개발담당