본문 바로가기

블로그

LG CNS 기술블로그 DX Lounge에서 최신 IT 소식을 만나보세요!

솔루션

IT 운영 복잡해질수록, ‘워크로드 오토메이션(Workload Automation)’으로 혁신!

2023.04.12

최근 기업의 거의 모든 업무가 IT 기술을 통해 처리되면서 IT 운영의 워크로드 관리가 많은 기업들의 고민거리로 부상하고 있습니다. ‘워크로드(Workload)’란 주어진 기간에 IT 시스템에 의해 실행되어야 할 작업의 할당량을 의미합니다.

과거에는 워크로드 관리 솔루션을 단순히 IT 시스템의 배치 작업(Batch Job : 데이터를 실시간 처리하지 않고 일괄적으로 모아 처리하는 작업)을 스케줄링하거나 관리하는 의미로 ‘배치 스케줄러’ 혹은 ‘배치 관리 도구’로 불렀습니다. 그러나 현재는 인프라와 애플리케이션 구성, 프로비저닝(Provisioning, 사용자의 요구에 맞게 필요에 따라 시스템 자원을 즉시 사용할 수 있는 상태로 미리 준비하는 것), 데브옵스(DevOps, 개발(Development)과 운영(Operations)의 합성어로 기업 내 모든 구성원의 소통, 협업을 강조하는 새로운 비즈니스 철학) 수명주기 관리부터 클라우드와 데이터 센터의 오케스트레이션(Orchestration, 전체 시스템의 자동화된 구성, 관리, 조정을 의미) 자동화까지 기술 범위가 확장돼 ‘워크로드 관리’ 혹은 ‘워크로드 자동화 솔루션’이라는 명칭이 더 적절해졌습니다.

최신 워크로드 관리 트렌드를 이해하기 위해서는 IT 운영 관리 영역 전반의 상황을 파악해야 합니다. 이번 글에서는 워크로드 관리를 둘러싼 기술과 시장의 변화를 바탕으로, 기업이 직면한 워크로드 관리 문제를 해결할 방안에 대해 알아보겠습니다.

3가지 키워드로 알아보는 워크로드 관리 트렌드

오늘날 IT 운영 관리 트렌드를 관통하는 키워드는 다음과 같습니다.

1) 클라우드
클라우드는 디지털 전환(Digital Transformation, DX)을 위한 최우선 액셀러레이터로 인식되고 있습니다. 단순히 인프라를 클라우드로 전환하는 것을 넘어, 애플리케이션을 클라우드에 배포하는 등 기업 내 다양한 워크로드로 확장하고 있습니다.

이에 따라 IT 복잡성이 심화됐는데요. 클라우드 기술이 고도화되면서, 가상머신 외에 컨테이너까지 도입되는 등 IT 운영 관점에서 관리 포인트가 늘어난 것입니다. 특히 데이터를 일괄 처리하는 워크로드의 경우 복잡한 IT 환경에 맞춰 관리 체계를 개선해야 하는 상황인데요. 클라우드 환경에 최적화된 운영 및 관리 기술이 필요한 시점입니다.

2) 지능형 자동화
글로벌 시장조사업체 IDC(International Data Corporation)의 [기업의 코로나 대응 조치 우선순위] 조사 결과에 따르면 클라우드가 1위, IT 리소스와 비즈니스 프로세스 자동화가 2위를 차지했습니다. 기업들은 코로나라는 전례 없는 위기 상황에서 프로세스와 컴퓨팅 리소스 관리의 자동화를 통해 회복 탄력성과 비즈니스의 연속성을 확보하고자 했죠.

하지만 IT 운영에 자동화를 적용할 때 복잡성 문제가 다시 발목을 잡았는데요. 기업은 서로 다른 운영 환경으로 인해 새로운 IT 정책을 만드는 것은 물론, 이미 설정한 정책을 조정하기도 힘든 상황이었습니다. 또한 기존 IT 정책과 설정으로도 해결되지 않는 사각지대가 발생하면서 낡은 자동화 기술로는 선제적으로 운영 문제를 발견하고 해결하기 어려웠습니다. 결국 기업에게는 조직 내부의 IT 프로세스를 이해하고, 동시에 IT 정책과 시장, 규제 등 외부 컴플라이언스까지 반영한 지능형 자동화 솔루션이 필요하게 됐습니다.

3) 통합 관리
시스템의 복잡성이 높아져 관리 포인트가 증가하고, 기존 자동화 기술의 사각지대가 발생하는 상황이라면, 거시적인 관점에서 통합 관리가 정답일 수밖에 없습니다. 기업 현장에서 통합 관리의 필요성을 체감하는 대표적인 문제가 ‘애플리케이션 상호 의존성’입니다. 애플리케이션 수의 급증으로 각 앱이 서로 연동되고 의존성이 높아지면서, 전체 IT 환경에 대한 가시성 확보가 시급해진 것이죠. 상호 운용성 부족과 파편화의 해법은 결국 ‘통합’입니다. 온-프레미스(On-premise, 소프트웨어를 서버에 직접 설치해 쓰는 방식)부터 가상머신, 컨테이너, 클라우드까지 전체 IT 환경에서 컴퓨팅 자원에 대한 통합적인 가시성을 바탕으로 IT 자원 관리, 오케스트레이션, 최적화까지 제공해야 합니다.

정리하면 클라우드, 지능화, 통합 관리 3가지 요건이 워크로드 관리 자동화에 대한 수요로 이어지고 있음을 알 수 있습니다.

전통적인 배치 작업 관리의 한계

워크로드 관리 트렌드의 변화는 기업의 IT 운영 관리에도 고스란히 반영되고 있습니다. 국내 워크로드 관리 솔루션 시장은 10여 년 전 배치 작업 업무가 많은 금융권과 대기업을 중심으로 형성되었으며, 유지보수 혹은 일부 교체, 프로세스를 추가하는 정도로만 유지되어 왔습니다. 그러나 최근 IT 시스템의 복잡성이 높아지면서 지능형 자동화와 통합 관리를 중심으로 신규 수요가 증가하고 있습니다.

특히 기업 IT 팀이 직면한 구체적인 어려움 중 하나는 컨테이너 환경의 워크로드 관리입니다. 컨테이너 환경에서는 온-프레미스와 달리 컨테이너 단위로 배치 작업을 관리합니다. 각 컨테이너 내에 위치한 배치 스케줄러에 설정된 스케줄에 따라 배치 작업을 수행하거나 쿠버네티스(Kubernetes, 클라우드화된 애플리케이션을 빠르게 자동으로 배포하고, 컨테이너들의 오케스트레이션, 스케일링 등을 제공하는 컨테이너 관리 시스템)에서 제공하는 크론잡(CronJob, 백업, 리포트 생성 등의 정기적 작업을 수행을 위한 작업)으로 스케줄에 맞춰 파드(Pod, 쿠버네티스에서 생성하고 관리할 수 있는 배포 가능한 가장 작은 컴퓨팅 단위)를 구동해 배치 작업을 처리합니다.

이때 실무자가 고려해야 할 사항은 다음과 같습니다.

  • 배치 서버나 컨테이너를 이중화한다면 배치 작업이 중복 수행되지 않도록 해야 합니다. 예를 들어, 급여 이체와 같은 중요한 배치 작업이 2번 실행되면 상상할 수 없는 혼란으로 이어질 수 있기 때문입니다.
  • 선·후행 관계의 배치 작업을 순서에 맞춰 실행하는 요건이 있다면 더 까다로워지게 됩니다. 컨테이너의 상태 이상으로 선행 작업이 실행되지 않았을 경우 후행 작업 처리 및 선행 작업 오류 전파에 대한 해결 방안을 고민해야 합니다. 배치 컨테이너의 오토스케일링(Auto Scaling, 탄력적인 클라우드 자원 활용 기술로 시스템 자원들의 값을 모니터링해 서버 사이즈를 자동으로 조절)까지 염두하고 있다면 신경 써야 할 부분은 더욱 많아집니다.

차세대 워크로드 관리, ‘워크로드 오토메이션’

‘워크로드 오토메이션’이란 기업이 외부 제도 변화에 대응하고 컨테이너와 같은 새로운 기술을 활용하면서도 효율적으로 워크로드를 관리할 수 있는 방안입니다. 전통적인 배치 스케줄러의 단점을 극복하고 오늘날 기업이 필요로 하는 요건을 충족하는 새로운 워크로드의 관리 방식인데요. 기존 배치 스케줄러와는 다음과 같은 차이점이 있습니다.

[그림 1] Job 스케줄러 VS 워크로드 오토메이션
  • 기존 배치 스케줄러 (Job Scheduler)

기존 배치 스케줄러는 시간을 기준으로 스케줄에 따라 배치 작업을 처리합니다. 선·후행 관계가 있다면, 선행 배치 작업의 예상 종료 시각을 직접 계산해 후행 배치 작업의 스케줄 시간을 결정해야 하는 불편함이 있죠.

또한, 운영체제에서 기본적으로 제공하는 크론탭(Crontab, 리눅스 환경에서 실행할 프로그램의 경로나 시간 등을 설정하고 관리함)이나 task 스케줄러를 활용해 리눅스나 원도우 등 플랫폼에 종속된 기능만 사용할 수 있는데요. 부하 관리도 작업 시간이 중복되지 않도록 계획하는 등 사용자가 직접 정적으로 부하 분산을 해야 합니다.

  • 워크로드 오토메이션 (Workload Automation)

워크로드 오토메이션은 시간은 물론, 이벤트를 기준으로 프로세스를 정의합니다. 업무의 종료 이벤트를 기반으로 선·후행 작업 수행을 제어하거나, 파일이나 메일의 수신 등 특정 이벤트에 필요한 배치 작업을 실행합니다. 다양한 플랫폼과 분산 환경에서 사용할 수 있으며, 자원 사용률, 배치 작업 처리율 등 시스템 감지를 통해 작업 부하를 동적으로 분산할 수 있습니다.

배치 작업이 IT 중심에서 비즈니스 중심으로 전환 가능하다는 장점도 있습니다. 기존의 배치 작업은 IT 전문가를 통해서만 처리 가능했으나, 워크로드 오토메이션은 직관적이고 비즈니스 중심적인 워크 플로우를 통해 IT 전문가가 아니어도 배치 작업을 관리할 수 있습니다.

또한 하나의 중앙 모니터에서 모든 시스템의 워크 플로우를 파악할 수 있습니다. 복잡한 IT 환경에서 이슈가 발생해도 빠르게 대응할 수 있으며, 효율적인 자원 사용과 서비스 중단의 최소화가 가능합니다. 이는 곧 전반적인 운영 비용의 절감으로 이어집니다.

워크로드 오토메이션으로 향하는 지름길, LG CNS J-Jobs

LG CNS는 기업이 워크로드 관리의 어려움을 해결할 수 있도록 워크로드 오토메이션 솔루션인 ‘J-Jobs(제이잡스)’를 제공합니다. J-Jobs란 이벤트를 기반으로 워크로드 정의부터 실행/제어, 모니터링, 리포팅까지 전사 워크로드 자동화를 위한 기능은 물론 클라우드 연계 및 운영 편의성/가시성을 제공합니다.

LG CNS의 J-Jobs의 기능은 다음과 같습니다.

1) 배치 작업 관리
J-Jobs는 편리하게 배치 작업을 관리할 수 있도록 지원합니다. [화면 1]은 J-Jobs 배치 작업 관리의 기본이 되는 Planning의 편집 화면입니다. Planning이란 업무 프로세스에 따라 선·후 관계를 가진 복수의 배치 작업을 묶은 기본 배치 실행 단위입니다.

[화면 1] J-Jobs의 Planning 편집 화면

[화면 1]의 <폴더 관리> 영역에서는 각 폴더의 구조를 트리 형태로 확인할 수 있습니다. 에서는 선택된 폴더의 Planning 구조를 map 형태로 표시해 폴더와 Job 간의 선·후행을 한눈에 확인할 수 있고, 각 폴더와 Job에 대한 개별 설정 및 선·후행 지정 등이 가능합니다.

<신규 Job 추가/ 편집 화면>에서는 파라미터, 알림, 실행 구역 등의 속성을 정의할 수 있습니다. 다양한 배치 작업 유형을 지원하기 위해 J-Jobs에서는 템플릿을 제공하며, 배치 처리 및 개발 편의성을 제공합니다. Command/Shell, SQL, Rest API, FTP 등 여러 가지 유형의 배치 작업이 같은 흐름 내에 정의돼도 문제없이 수행합니다. 또한, 현재 등록된 템플릿 외에 플러그인 방식으로 필요한 템플릿을 손쉽게 추가할 수 있습니다.

배치 작업 처리와 관련해 J-Jobs의 가장 큰 특징은 파티션 기능을 이용해 실행 시간과 성능을 개선하는 것인데요. J-Jobs의 파티션 기능은 입력받은 파라미터를 각 파티션으로 나누는 ‘매퍼’와 이를 각 파티션에서 수행하는 ‘워커’로 구성됩니다. 예를 들어 1에서 300까지의 파라미터를 순차적으로 수행하는 배치 작업이라면, 매퍼를 통해 100건씩 3개의 파티션으로 분리하고 각 파티션에서 분리된 파라미터를 토대로 배치 작업을 호출합니다. 결과적으로 서로 다른 에이전트에서 병렬적으로 배치 작업을 수행하므로, 기존의 직렬 처리보다 전체 작업 시간을 크게 단축할 수 있습니다.

2) 모니터링
J-Jobs는 배치 작업 상태를 한눈에 볼 수 있는 다양한 모니터링 기능을 지원합니다. 실시간 모니터링 화면은 작업 중인 Planning의 요약 정보와 각 배치 작업에 대한 실행 통계 정보를 보여주고, 개별 배치 작업의 상태를 추적합니다. 이외에도 요청하거나 요청받은 결재 내역, 금일/주간/에이전트별의 Planning/Job 실행 상태 및 통계, 서버와 에이전트의 상태 등을 대시보드 화면에서 확인할 수 있습니다. 또한, 에이전트별 자원 통계를 통해 수행된 배치 작업이 에이전트 자원을 얼마나 사용하는지 알 수 있어, 에이전트 수를 늘리거나 실행 구역을 조정하는 등 자원을 효율적으로 활용할 수 있습니다.

3) 운영
J-Jobs는 안정적인 배치 작업 운영을 위한 다양한 기능도 지원합니다. 매니저와 서버, 에이전트 등 J-Jobs의 주요 구성 요소는 모두 이중화 혹은 다중화로 구성이 가능해, 운영 중 문제가 발생했을 때 고가용성을 보장합니다. 또한, 오토스케일링 및 인스턴스 통합 관리 등의 클라우드 지향 기능을 제공해 클라우드 환경에서도 배치를 수행하고 통합 관리할 수 있습니다.

J-Jobs는 사용자에 대한 권한과 배치 작업에 대한 정합성을 위해 사용자 그룹 관리와 Check In/Out 기능을 제공합니다. 예를 들어, 수신/여신 업무 그룹을 분리하고 각 담당자에게 해당 그룹에 대한 권한을 부여하면, 수신 업무 담당자는 수신 업무에 대한 배치 작업만 수정 및 실행이 가능합니다. 즉, 여신 업무에 대한 작업은 제한되는 것이죠.

또한 J-Jobs를 통해 컨테이너 환경에서도 배치 작업을 통합 관리하고 안정적으로 운영할 수 있습니다. 배치 작업을 수행할 때마다 컨테이너가 생성 및 삭제되도록 설정할 수 있습니다. 장애 발생 시 오류가 발생한 배치를 식별해 문제 확인 후 중지 또는 재시작 같은 작업을 할 수 있습니다.

그리고 J-Jobs는 기본적으로 이중화 구성에 따른 중복 실행 방지도 지원합니다. 이벤트를 기반으로 선행 배치 작업 성공 여부에 따라 후행 배치 작업 수행이 결정되므로, 선행 배치의 오류가 다른 곳으로 전파될 걱정 없이 안정적으로 운영할 수 있습니다.

J-Jobs를 활용한 워크로드 오토메이션 사례

J-Jobs는 제조, 공공, 금융 등 다양한 산업 군의 업무에 적용돼 있습니다. 많은 기업이 J-Jobs를 활용해 점점 더 복잡해지는 배치 작업을 효율적이고 안정적으로 운영하고 있습니다. 대표적인 사례로 아동용품 전문 기업 A사 프로젝트가 있습니다.

A사는 마이크로소프트 Dynamics ERP를 기반으로 다양한 레거시(legacy, 정보 시스템에서 낡은 하드웨어나 소프트웨어) 시스템을 운영 중이었고, 각 담당자가 개별적으로 배치 작업을 관리해 업무에 부담이 큰 상황이었습니다. 새로운 배치 작업이 인가 없이 등록되고, 실행될 위험이 있었습니다. 신규 도입된 배치 관리 솔루션은 ERP(Enterprise Resource Planning, 재무, 제조, 소매·유통, 공급망, 인사관리, 운영 전반의 비즈니스 프로세스를 자동화하고 관리하는 시스템)에서 만든 작업 클래스를 배치 작업으로 실행하고, 데이터베이스 프로시저(Database procedure, 데이터베이스에 대한 일련의 작업을 정리한 절차를 관계형 데이터베이스 관리 시스템에 저장한 것)로 작성된 배치 작업 관리를 자동화할 필요가 있었습니다. 재고 관리 시스템인 WMS(Warehouse Management System)에 연계되는 배치 작업도 지원해야 했는데요. A사는 이러한 문제를 J-Jobs로 해결했습니다.

ERP 작업 클래스를 호출하는 작업은 공용 배치 Shell과 설정 파일을 생성한 뒤 오토런(AutoRun, 자동 실행) 명령을 이용해 처리했고, Command/Shell 템플릿을 활용해 J-Jobs에서 해당 배치 작업을 등록했습니다. 데이터베이스 프로시저 형태로 작성된 작업은 SQL 템플릿을 이용해 수행했습니다. ERP와 연계되는 WMS 시스템은 자바 기반의 배치 작업 수행이 필요해 Rest API 템플릿으로 처리했습니다.

현재 A사는 ERP와 WMS, 데이터베이스 등 시스템별 이기종 운영체제 환경에서도 윈도우 에이전트와 리눅스 에이전트를 구성해 안정적으로 운영하고 있습니다. 배치 작업에 대한 생성, 변경, 실행, 오류 처리 이력을 관리하는 것은 물론, 배치 작업 수행 상황을 실시간으로 모니터링하고 있습니다. 또한, 배치 작업을 생성, 변경, 실행하는 권한을 구분해 필요한 사용자에게 필요한 권한만 부여해 관리하고, 결재 기능을 통해 배치 작업의 수정과 실행을 통제하는 것도 가능해졌습니다.

효율적인 워크로드 관리는 디지털 혁신의 전제 조건

국내 워크로드 관리 시장에서 파트너를 선택할 때 고려해야 할 점은 무엇이 있을까요? 가장 중요한 것은 국내 IT 환경의 변화를 이해하는 파트너여야 한다는 점입니다. 외부 규제와 내부 IT 운영 정책을 모두 지원할 수 있는 유연한 솔루션을 제공할 수 있어야 합니다. 해당 조건이 충족된 후에는 클라우드 환경에 대한 이해, 안정적인 서비스 지원 여부, IT 자원에 대한 가시성 등 더 세부적인 역량을 비교해야 합니다.

결국, 기업이 IT 운영 관리 문제를 해결하기 위해서는 효율적인 배포와 자율적인 IT 운영을 지원할 수 있는 파트너를 찾는 것이 핵심입니다. 이는 기업의 전사적인 디지털 트랜스 포메이션을 성공적으로 추진하는 근본적인 전제 조건이기도 합니다. 배치 작업 관리의 새로운 진화를 경험하고 싶다면 LG CNS 워크로드 오토메이션에 주목해 보세요!

워크로드 오토메이션으로 IT 운영을 효율적으로 혁신하고 싶다면?

글 ㅣ LG CNS DevOn솔루션팀

챗봇과 대화를 할 수 있어요