지난 글에서는 기존 테스트 방식의 한계와 자동 검증 솔루션 PerfecTwin(퍼펙트윈)의 작동 방식에 대해 살펴봤습니다. 이번 글에서는 PerfecTwin의 주요 사례에 대해 자세히 알아보겠습니다.
● 지난 글: IT시스템 오픈 전 실제처럼 테스트하려면? ‘PerfecTwin(퍼펙트윈)’이 답!
기존 테스트 방식 VS PerfecTwin
1. 테스트 시나리오/케이스
기존 테스트 방식으로 실제 상황에서 발생하는 모든 케이스를 도출하고, 그에 따른 테스트 데이터를 준비하는 건 현실적으로 불가능에 가깝습니다.
PerfecTwin은 대량의 실제 거래 데이터를 이용해 자동으로 신규 시스템을 테스트합니다. 테스트 기간에 발생하는 모든 업무 시나리오와 케이스에 대해 검증이 가능한 것이죠. 또한, 테스트 기간에 발생하지 않은 시나리오와 케이스도 별도로 추가해 검증할 수도 있습니다. 거의 모든 잠재 결함을 사전에 식별해 제거할 수 있는 셈이죠.
2. 테스트 실행
• 기능 테스트
기존에는 IT 프로젝트 참여자들이 수작업으로 기능 테스트를 수행한 뒤, 결함을 식별해 조치한 후 재테스트를 진행했습니다. 그러나 신규 시스템에 변경이 발생할 때마다 관련된 전체 케이스를 회귀해 테스트하는 것은 시간/비용 차원에서 현실적으로 불가능했는데요. 이런 수작업 방식의 테스트와 달리 PerfecTwin은 회귀 테스트를 자동으로 수행할 수 있습니다. K생명의 경우, 특정 서비스에 대해 40일간 26만 건의 테스트가 진행됐는데요. 이 기간 동안 수행된 거래는 총 8,000만 건, 이 중 7,970만 건 이상이 회귀 테스트 방식으로 반복 검증됐습니다.
• 성능 테스트
기존에는 기능 테스트가 완료되면 JMeter(제이미터, 성능 측정 및 부하 테스트 기능을 제공하는 오픈 소스 자바 애플리케이션) 또는 이와 유사한 자동화 도구를 사용해 일부 핵심 서비스를 대상으로 성능을 테스트했습니다. 그러나, 성능 테스트에 포함되지 않은 서비스에 심각한 성능 문제가 있다면 어떻게 할까요? 신규 시스템이나 서비스의 성능이 현행 시스템 보다 개선되었는지는 어떻게 알 수 있을까요?
PerfecTwin은 이런 질문에 대한 해결 방안을 제공합니다. PerfecTwin은 현행 시스템의 거래를 재현할 때 신규 시스템과 응답시간을 비교합니다. 현행 시스템과 비교해 전체 서비스 관점에서 신규 시스템의 성능을 즉각적으로 확인할 수 있습니다. 이를 통해 성능 개선(튜닝)이 필요한 영역과 성능 개선 후의 개선 효과를 가시적으로 확인할 수 있어, 전체 시스템 관점에서 성능 병목을 사전에 제거합니다. 클라우드 환경일 경우에는 인스턴스(VM, Virtual Machine) 증설 시 사용자 관점에서 성능 개선이 의미 있는지를 가시적으로 확인할 수 있어, 클라우드 자원을 최적화할 수 있도록 지원합니다.
3. 테스트 결과 평가
기존에는 테스트 결과가 올바른지 판단하기 위해 데이터베이스에 저장된 데이터를 별도로 조회하거나 화면에 표시된 응답 결과를 눈으로 확인했습니다. 두 가지 모두 많은 수작업이 필요한 방법인데, 문제는 정확도를 신뢰하기 어렵다는 것입니다.
그러나 PerfecTwin은 UI 상에서는 오류로 표시되지 않지만, 눈으로 확인하기 어려운 오류도 정확히 판정할 수 있습니다. PerfecTwin Analyzer의 대시보드 및 드릴다운 페이지를 통해 실시간으로 검증된 거래 또는 서비스, 실패한 거래 또는 서비스, 응답 시간이 저하된 거래 또는 서비스를 즉각적으로 확인할 수 있습니다.
PerfecTwin의 성공적인 적용 사례
PerfecTwin은 금융, 공공, 제조 등 다양한 분야의 IT 프로젝트에 활용되고 있는데요. LG CNS가 성공적으로 진행했던 PerfecTwin 적용 사례를 살펴보겠습니다.
• H은행 차세대 시스템 구축 프로젝트
H은행은 2020년 10월 차세대 시스템을 개통했습니다. PerfecTwin은 시스템 이행(전환) 단계에서 일일 거래의 약 90%를 대상으로, 130여 참가기관 사용자 및 외부 시스템과의 거래 약 150만 건을 검증했습니다. 처리 시각과 처리 순서를 동일하게 재현하는 방식으로 총 12회의 수행했는데요. 최초 검증 시 93%였던 성공률을 반복 검증을 거쳐, 개통 전 100% 수준의 성공률을 달성하며 결함이 대폭 개선되었습니다.
• N카드 차세대시스템 구축 프로젝트
PerfecTwin은 N카드의 영업점 테스트 단계에서 하루 1,000만 건에 달하는 일일 거래를 활용해 승인계 시스템의 기능과 성능 검증에 적용됐습니다. 최초 검증 시에는 기반(인프라) 시스템의 성능 문제로 일일 거래 양의 약 1/5밖에 수행하지 못했습니다. 그러나 점차 실거래 자동검증과 식별된 결함들을 조치해 나가면서, 한 달 만에 99% 이상의 성공률을 달성했습니다. 그 후 N카드는 월초, 월말에 모두 1억 건 이상의 실제 거래에 대해 유효성을 검사하고, 신속하게 결함을 식별해 100%에 가까운 성공률을 확보하며 승인계 시스템을 성공적으로 개통했습니다.
• K생명 차세대시스템 구축 프로젝트
K생명의 차세대시스템 구축 프로젝트는 화면(UI), 메시지 구조, 상품 체계 및 코드 체계가 변경된 프로젝트입니다. 상품 제안 내용과 신규 시스템의 상품 제안 내용이 100% 일치율을 달성했던 사례인데요. 보험설계사, 텔레마케터가 현행 시스템에서 상품 제안 업무를 실행하면 PerfecTwin이 신규 시스템에서 자동으로 동일한 거래를 재현했습니다. 또한 보험료, 해지환급금 등의 응답 결과가 현행 시스템과 일치하는지를 비교해 자동으로 불일치 항목을 식별했는데요. 결과적으로 PerfecTwin을 통해 하루 약 200만 건, 1년간 총 7억 2,000만 건의 상품 제안 거래를 자동으로 반복 검증한 사례입니다.
• S사 클라우드 전환 프로젝트
PerfecTwin은 S사 클라우드 전환 프로젝트에서 현행 시스템의 전체 서비스에 대한 거래를 캡처해 클라우드 환경에서 동일하게 재현했는데요. 기능적인 성공 여부와 함께 신규 시스템과의 응답 시간을 자동으로 비교했습니다. 이를 통해 성능 개선 작업 결과를 즉각적으로 확인할 수 있었습니다. 또한, EC2(Elastic Compute Cloud, AWS가 제공하는 가상 컴퓨팅 환경) 인스턴스 및 관련 구성 요소의 사양 변경 시 시스템 성능에 미치는 영향을 가시적으로 확인해 클라우드 구성을 최적화할 수 있었습니다. 실시간으로 재현한 거래는 약 40만 건이었고, 신규 시스템은 개통 후 PerfecTwin에서 확인했던 응답시간과 동일한 성능을 보여주었습니다.
• K증권 인프라 고도화 프로젝트
K증권 인프라 고도화 프로젝트는 DBMS(Data Base Management System, 데이터베이스 관리 시스템)를 업그레이드하고 하드웨어를 교체하는 프로젝트였습니다. 이는 업무 서비스의 변경이 없더라도 전체 서비스의 기능과 성능에 결함이 없는지 확인해야 했는데요. K증권은 매매 시스템을 포함한 대량의 거래 정보가 저장된 로그 파일을 캡처해 약 30만 건의 실제 거래들을 반복 재현했습니다. 결과적으로 업그레이드한 DBMS에서 정상적으로 수행되지 않는 28개의 SQL(Structures Query Language, 데이터베이스 시스템에서 자료를 처리하는 용도로 사용되는 구조적 데이터 질의 언어)과 성능 개선이 필요한 200개 이상의 DBIO(DataBase Input/Output, DBMS에 대한 독립성 확보 및 개발 편의성을 제공) 모듈을 단시간에 식별했습니다. 결함을 조치한 후 회귀 테스트 방식으로 자동으로 재테스트하며 개선 결과를 확신할 수 있었습니다.
일반적으로 테스트의 목표는 최대한 많은 수의 결함을 식별해 사전에 조치하는 것입니다. 통상적으로 전체 테스트 케이스의 50% 이상이 성공하지만, 기존 테스트 방식은 성공 케이스에 대해서도 수작업으로 다단계 반복 검증을 진행해 비용을 비효율적으로 투입하게 됩니다. 이때 일상적인 대량 거래에 대한 결함 식별은 PerfecTwin처럼 자동화된 테스트 방식을 적용하고, 업무 전문가 또는 설계자는 자동으로 검증하기 어려운 서비스에 대한 예외 케이스 검증에 집중한다면, IT 프로젝트의 비용 절감과 효과적인 품질 확보가 가능할 것입니다.
● 100% 실거래 데이터로 자동 검증하는 퍼펙트윈 자세히 보기
글 ㅣ LG CNS PerfecTwin 사업팀 김용식 전문위원
