지난 연재까지 클라우드의 트렌드와 아키텍처, VDI, 그리고 클라우드 환경의 운영관리 도구와 적용 사례에 대해 소개드렸는데요. 이번 시간에는 클라우드 환경의 중요한 구성 요소 중 하나인 ‘클라우드 스토리지’ 관련 내용에 대해 설명해 드리고자 합니다.

IDC의 구분에 따르면 클라우드 환경에서의 스토리지 서비스는 크게 두 가지로 나눠 볼 수 있습니다. 하나는 ‘스토리지 인 더 퍼블릭 클라우드(Storage in the public cloud)’, 쉽게 말해 일반 개인 사용자에게 데이터 백업, 사진, 동영상등 파일 공유의 용도로 서비스 되는 형태의 스토리지이고, 다른 하나는 ‘스토리지 포 더 프라이빗 클라우드(Storage for the private cloud)’, 즉 기업 서비스를 위한 클라우드 환경 또는 시스템 구축을 위한 스토리지 서비스 입니다.

두 서비스는 데이터 저장 용도라는 측면에서는 유사해 보이지만, 프라이빗 클라우드 서비스를 위한 스토리지 시스템에는 추가적인 기술들이 필요합니다. 따라서 지금부터 ‘프라이빗 클라우드 스토리지에서 사용되는 기술과 솔루션’에 대해서 좀 더 상세히 알아 보도록 하겠습니다.

Automation 과 Scale-out

스토리지는 사실 데이터가 저장되는 중요한 IT 시스템 자원 중에 하나이지만, 단독으로는 사용할수 없는 특성을 가지고 있는데요. 서버 시스템 또는 응용 프로그램과 연결이 되어야만 데이터를 저장할 수 있고 스토리지의 기능을 수행할 수 있습니다.

기존의 레거시 디스크(Legacy System)에서는 이러한 시스템과 스토리지의 연결 작업을 대부분 수동으로 수행해야 했는데요. 클라우드 환경에서는 이런 수동적인 방식으로는 시시각각 변화하는 사용자의 요청에 즉각적인 대응이 불가능하기 때문에 ‘스토리지 오토메이션(Storage Automation)’ 이 필수적 기능이라고 하겠습니다.

‘스토리지 오토메이션’과 더불어 또 한가지 중요한 기능은 ‘스토리지 스케일 아웃(Storage Scale-out)’ 기능입니다. 전통적인 스토리지는 이중화된 컨트롤러(Controller)에 디스크 쉘프(Disk shelf)가 층층이 쌓여 있는 형태의 ‘스케일 업(Scale-up)’ 방식인데요. 스케일 업 방식의 스토리지는 용량을 증설하기는 쉬운 반면, 용량이 늘어나면서 컨트롤러 성능의 한계로 인한 성능 이슈가 발생 할 수 있다는 단점이 있습니다.

그렇다 보니 장비 수명이 다한 경우 신규 장비로 교체하기 위한 데이터 마이그레이션(Migration)에 대한 부담이 큰 고민거리였죠. 이러한 제약 사항을 개선한 것이 ‘스케일 아웃 스토리지’ 입니다. 이는 각각의 디스크 쉘프에 컨트롤러가 개별적으로 구성되어 있는 것이라고 생각하시면 되는데요.

운영 중인 스토리지의 가상화 풀(Pool)에 새로운 디스크 쉘프가 쉽게 추가•제거 됨에 따라 장비 교체가 쉬워지고, 용량이 증가하면 스토리지 성능이 비례하여 증가하기 때문에 클라우드 환경 운영에 꼭 필요한 필수 기술이라고 할 수 있습니다.

스토리지 솔루션, SDS(Software-Defined-Storage)

‘소프트웨어 정의 스토리지(Software-Defined Storage, 이하 SDS)’란 스토리지 H/W의 종속성에서 벗어난 S/W적인 개념인데요. 스토리지를 통합 관리하는 솔루션이라고 할 수 있습니다.

SDS는 일반적으로 스토리지 가상화 기술을 포함하여 설명할 수 있는데요. 예를 들어 기존 전통적인 스토리지에서는 호스트 서버에 디스크 할당 작업을 위해 각 스토리지 벤더의 기술 지원을 받아 스토리지 모델에 맞는 방식으로 변경 작업을 수행해야 했지만, SDS 솔루션 기술을 사용하면 이러한 H/W 종속성에서 벗어날 수 있습니다.

또한 사용자는 표준화된 API를 통해 가상의 스토리지를 만들고, 실제 변경 작업은 정의된 벤더 별 작업 방식에 따라 자동으로 수행할 수 있게 되는 것이지요.

LG CNS는 이러한 SDS 개념이 나오기 이전부터 사내 VDI(Virtual Desktop Interface)와 같은 여러 클라우드 환경에 SDS 개념을 적용하여 서비스하고 있는데요. 향후 SDS 기술이 좀더 고도화 되고 확산되면 타 플랫폼과의 연동이나 스토리지의 자동화 기술이 더욱 강력해 질것으로 예상됩니다.

성능과 비용 효율화를 위한 All Flash Storage와 Data Deduplication

2015년 클라우드 환경에서 가장 빠르게 확산되는 솔루션은 바로 ‘올 플래쉬 스토리지(All Flash Storage)’일 것입니다.

모두 잘 아시는 바와 같이 ‘All Flash Storage’란 기존의 HDD 디스크로 구성되어 있는 스토리지가 아닌 SSD 디스크로 구성되어 있는 스토리지를 말하는데요.

사실 HDD는 스토리지의 주요 파트 중 유일하게 기계적 구동 메커니즘이 남아 있는 파트입니다. 이러한 기계적 구동 메커니즘의 한계 때문에 CPU/Memory 등에 비해 상대적으로 성능 향상에 많은 제약이 있었는데요. SSD는 이러한 기계적 구동부를 대체하여 NAND Flash 소자로 구성된 Disk를 만들고, 저전력에 기존 HDD 대비 100배 이상의 고성능 디스크로 사용할 수 있게 되었습니다.

이러한 뛰어난 성능에도 불구하고 몇 년 전만 해도 SSD 디스크는 높은 가격으로 인해 스토리지 Cache와 HDD의 성능을 일부 보완하기 위한 파트로 사용될 뿐 많이 보급되지 못했는데요. 점점 NAND Flash 소자의 집적도가 높아지고 가격 경쟁력을 가지게 되면서 HDD를 대체하게 되었습니다.

그리고 마침내 스토리지 시장에서도 HDD를 모두 대체한 ‘All Flash Storage’가 확산되기 시작한 것이지요.

‘All Flash Storage’가 경쟁력으로 가지고 확산될 수 있었던 중요한 핵심 기술 중에 하나는 바로 ‘디듀플리캐이션(Deduplication)’ 이라는 기술인데요. 바로 데이터 중복제거라는 기술입니다.

쉽게 설명하면 컴퓨터 시스템에서 데이터는 “111111000000111111000” 같은 2진수의 조합으로 이루어져 있는데요. 이러한 2진수 조합에서 반복되는 특정한 패턴을 분석해 동일한 패턴은 디스크에 기록하지 않고, 패턴이 사용되었다는 표시만 함으로써 디스크 저장 공간을 축소하는 기술입니다.

과거에는 백업용 저장장치에 주로 사용되었지만 기술이 성숙되면서 ‘All Flash Storage’가 가격 경쟁력을 갖출 수 있는 기술로 발전하였고, 동일한 데이터가 많이 저장되는 VDI 클라우드 환경에서는 없어서는 안 될 핵심 기술이 되었습니다.

이러한 ‘All Flash Storage’의 등장으로 클라우드 스토리지가 또 한 가지 얻게 된 것이 있습니다. 바로 ‘IO Storm’에 대한 대비인데요. 초창기 VDI 클라우드 환경에서는 ‘IO Storm’에 의한 스토리지 성능 이슈가 종종 발생하였습니다.

기존 개별 PC환경과는 다르게 대규모 VM이 서비스되는 운영 환경에서 개별 VM위에 실행되는 ‘Virus Scan’, ‘OS Update’, ‘개발자 VM에서 수행되는 테스트’, ‘VM Rebooting 등으로 인해 대량의 Disk IO가 스토리지로 몰리게 되는 현상이 발생되었는데요. 이것은 곧 스토리지 성능 장애로 이어졌습니다.

과거 이러한 경험을 바탕으로 LG CNS에서 제공하는 VDI 서비스는 현재 Disk IO 분산을 위해 경험과 노하우뿐 만 아니라 사전 감지를 위한 다양한 모니터링 툴을 사용하고 있습니다. 또한 ‘All Flash Storage’ 적용으로 안정적인 서비스를 제공할 수 있게 되었습니다.

클라우드 스토리지의 비용 경쟁력을 위한 OSS(Open Source Software) 솔루션

최근 클라우드 환경 관련 기술이 성숙함에 따라 비용 경쟁력을 갖추기 위한 많은 노력들을 기울이고 있는데요. 스토리지 분야에서도 예외는 아닙니다.

기존 Legacy System에서는 시스템의 안정성, 성능 및 데이터 보호를 위해서 EMC, NetApp, Hitachi, IBM, HP, Dell 등 주요 스토리지 벤더의 Enterprise 제품을 많이 사용하였습니다.

스토리지 집적도가 올라가고 고용량 디스크가 출시되면서 용량 당 단가가 많이 낮아지긴 했지만, 여전히 주요 스토리지 벤더의 Enterprise 제품은 High Price/High Spec의 장비 입니다.

따라서 많은 클라우드 서비스 업체들은 기존의 Enterprise 제품 이외의 OSS 스토리지 솔루션에 관심을 갖고 오픈스택(Openstack)과 같은 플랫폼과 연동할 수 있는 솔루션으로 Ceph, FreeNAS, Gluster, Lustre 등의 적용을 검토하고 있는데요.

LG CNS는 기존의 주요 스토리지 벤더의 Enterprise 제품뿐 만 아니라 이러한 OSS 스토리지 솔루션에도 전문성을 가지고 있습니다.

OSS 스토리지 솔루션의 특징을 파악하고 안정성 검증을 위한 다양한 PoC(Proof of Concept) 를 진행하고, 서울 상암 데이터센터와 부산 글로벌 클라우드 데이터센터에 OSS 스토리지 솔루션 중 하나인 ‘세프 스토리지(Ceph Storage)’를 구축하여 VPC(Virtual Private Cloud) 서비스를 제공하고 있습니다.

단순히 비용 경쟁력 확보를 목적으로 한 스토리지 OSS 솔루션 도입은 자칫 서비스 수준의 하락으로 이어질 수 있는데요. LG CNS는 다양한 구축 경험과 운영 노하우를 통해 OSS 솔루션의 단점을 보완할 수 있는 모니터링 및 관리 툴을 적용하고 안정적인 스토리지 서비스를 제공하고 있습니다.

안정적인 클라우드 서비스 환경을 구현하기 위해서는 어느 한 분야의 전문지식으로는 안정적인 시스템을 구축하기 어렵습니다. 서버•스토리지•네트워크을 망라한 전문적인 인프라 구축 경험뿐만 아니라 OS/App/DB에 이르는 다양한 S/W 전문 지식이 기반이 되어야 하는데요.

LG CNS는 이러한 다양한 경험을 바탕으로 고객 환경에 적합한 최적의 클라우드 시스템 컨설팅•구축•운영 서비스를 제공하고 있습니다.

지금까지 클라우드 환경에서 사용되는 스토리지 기술과 솔루션들에 대해서 소개해 드렸는데요. 다음 시간에는 [연재기획] 6편으로 ‘Software Defined Network의 현재와 미래’에 대해 살펴보겠습니다.

LG CNS 페이스북 바로가기 : http://on.fb.me/1Jwzp5h

글 ㅣ LG CNS 클라우드 서비스팀

[‘클라우드 서비스의 현재와 미래’ 연재 현황 및 향후 계획]

●1편 지금은 클라우드 시대, ‘클라우드 컴퓨팅’의 트렌드와 전망 : http://blog.lgcns.com/770
●2편 고객 맞춤형 클라우드, ‘프라이빗 클라우드’ 서비스 현황 : http://blog.lgcns.com/804
●3편 보안과 운영 안정성을 위한 VDI, Mobile PC(vmCube) : http://blog.lgcns.com/829
●4편 인프라 운영경쟁력 Jump up! (플랫폼, U2L, OSS, UXM..) : http://blog.lgcns.com/857
●5편 클라우드 환경을 위한 스토리지 적용기술 : http://blog.lgcns.com/882
●6편 Software Defined Network의 현재와 미래 : http://blog.lgcns.com/903
●7편 Smart Tech. 2.0의 중심 SaaS / 마켓플레이스 : http://blog.lgcns.com/951
●8편 LG CNS의 클라우드 데이터센터 : http://blog.lgcns.com/971