태그검색
찾고 싶은 것이 있나요?
computing에 대한 42개의 태그 검색결과가 있습니다.
- 블로그 AWS Lambda를 활용한 짧은 주기 배치 구현 Intro Batch(이하 배치)는 처리해야 할 작업을 모아 일괄 처리하는 작업을 의미합니다. 배치는 특정 시간마다 실행할 수 있도록 스케줄링하고 설정한 시간에 한꺼번에 작업을 처리하게 되는데요. 실시간 처리 방식이 아니기 때문에 빠른 응답이 필요 없는 서비스에 활용하기 적합합니다. 하나의 프로젝트 안에는 크고 작은 다양한 시스템들이 있어, 각 시스템의 특징에 맞게 배치를 구성해 운영해야 합니다. 하지만, 시스템이 만들어진 시기나 프로그래밍 언어, 시스템 환경에 따라 배치의 구성이 많이 달라지는데요. 이때, 배치의 특성상 Background에서 실행되는...
- 블로그 Amazon Bedrock Knowledge base로 구현하는 RAG(검색 증강 생성) Intro LLM(Large Language Models)에 최신 혹은 세부적인 내용에 대해 질문하면, 제대로 된 답변을 받지 못하는 경우가 있습니다. 그 이유는 LLM이 사전에 학습된 데이터를 기반으로 작동하기 때문인데요. 모델이 학습한 시점 이후의 최신 정보나, 학습 데이터에 포함되지 않은 세부적인 정보에 대해서는 정확한 답변을 받지 못할 수 있습니다. RAG(Retriever-Augmented Generation, 검색 증강 생성, 이하 RAG)는 이러한 문제를 해결하기 위해 개발된 모델 중 하나인데요. RAG는 기존의 언어 모델에 정보 검색(retrieval) 기능을 추가해, 모델이 학습한...
- 블로그 ‘Amazon Bedrock’ 사용해 간단한 챗봇 만들기 Intro Amazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Stability AI 및 Amazon과 같은 AI 회사의 다양한 고성능 파운데이션 모델(Foundation Model, FM, 대규모 딥 러닝 신경망)을 단일 API(Application Programming Interface, API, 컴퓨터나 컴퓨터 프로그램 사이의 연결)를 통해 제공하는 완전관리형 서비스입니다. 이번 글에선 Amazon Bedrock을 사용해 간단한 챗봇을 만드는 방법을 알아보겠습니다. 복잡한 코딩 없이 쉽고 빠르게 챗봇을 만들기 위해 Amazon Bedrock과 Streamlit, LangChain을 함께 사용하는 방법입니다. Streamlit은 Python을 활용해 앱을 빠르고 쉽게...
- 블로그 ‘Fuzzy String Matching’ 노하우를 공개합니다. Intro 기업 내 다양한 시스템 안에서 고객사, 파트너사, 벤더사 등의 회사명을 표기할 때, 동일한 회사명이 조금씩 다르게 표기된 것을 보신 적이 있을 것입니다. 예를 들어 ‘LG CNS’라는 기업명이 (주)LG CNS, lg cns, LG CMS 등으로 다르게 표기되는 경우를 말합니다. 다르게 표기되는 이유는 보시는 바와 같이 대문자/소문자, 오타 등이 있을 수 있습니다. ‘Fuzzy String Matching’은 이처럼 다르게 표기된 글자들이 서로 동일한 것인지, 단지 비슷한 것인지에 대한 여부를 판단하는 기술입니다. 검색 엔진...
- 블로그 AWS Lambda와 Spring Boot 사용을 위한 최적화 방안 1. Intro AWS Lambda에 Spring Boot Application을 실행하는 것은 Cold Start 문제로 인해 많은 최적화가 필요했습니다.불필요한 종속성을 줄이고, 무거운 라이브러리는 교체하는 튜닝 작업들을 진행 했었습니다.Spring과 같은 무거운 Framework를 버리고, 다른 Framework를 사용하거나 Native 코드에 필요한 라이브러리만을 추가하여 사용하기도 했습니다.Framework를 제거하면 초기화 시간이 단축되지만 구현을 위한 노력이 증가하여 개발 생산성은 낮아지는 단점이 있었습니다.Cold Start 문제를 해결하고 Lambda와 Spring Boot Application을 사용하기 위한 최적화 방안에 대해서 알아보겠습니다. 2. Spring Handler 전역 변수...
- 블로그 AWS Lambda SnapStart 를 사용해야 하는 이유 1. Intro AWS re:invent 2022에서 AWS Lambda의 새로운 feature인 SnapStart를 발표했습니다.SnapStart는 Java 언어와 함께 Lambda를 사용할 때 Cold Start 시간을 대폭 개선하기 위한 기능입니다.Lambda의 일반적인 작동 방식과 Cold Start에 대해서 이해하고, SnapStart의 작동 방식과 SnapStart를 사용해야 하는 이유에 대해서 알아보겠습니다. 2. AWS Lambda 란? AWS Lambda는 serverless 서비스로서, 서버를 관리할 필요가 없이 Application Code를 실행할 수 있는 Compute 서비스입니다.Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버 및 운영 체제 유지 관리,...
- 블로그 사용자 별 Athena 쿼리 제약을 통한 비용 제어 방안 1.개요 일반적으로 Amazon S3에 저장된 데이터의 탐색을 위해서 Amazon Athena를 사용합니다.Amazon Athena를 통해 데이터 탐색을 할 때 잘못된 Scan 범위(Query)로 인하여 큰 비용이 발생할 수 있습니다.이번 포스팅에서는 Amazon Athena 사용 시 Query 실수로 인한 대용량 Scan을 방지하기 위해 Workgroup의 기능인 Data Uasge control을 통한 Query 제한과 Amazon Athena를 사용하는 Workgroup의 Data scan 추이에 대한 모니터링을 위한 Data uasge alerts 구성을 통한 사용량 알림 기능 구현에 대해 살펴보겠습니다. 2. 내용 2.1...
- 블로그 Amazon EC2 Instance Connect Endpoint 를 활용한 폐쇄된 VPC 환경의 AWS EC2 접근 1. 개요 Amazon EC2를 사용하면 다양한 방법으로 EC2에 접근이 가능합니다. EC2가 Public Subnet에 노출되어 있다면 Public IP로 바로 접근 하거나, 일반적으로는 Bastion Host를 별도로 구성하여 한 번 거쳐서 접근을 하게 됩니다. 최근에 들어서는 keypair 관리에 들어가는 Effort와 보안적인 Risk를 줄이기 위해 IAM 기반의 사용자 접근 제어를 통한 AWS System Manager Session Manager를 사용하기도 합니다. 하지만 폐쇄된 VPC(IGW, NGW 가 없는 Private Subnet만 존재하는) 환경일 경우 AWS System Manager Session Manager를...
- 블로그 필요할 때만 씁시다! Lambda로 껐다 켜는 EC2 [ 머리말 ] EC2 관련하여 비용 효율성을 달성할 수 있는 가장 쉬운 방법은, “우선 안 쓸 땐 Shutdown 한다” 입니다. 특정 날짜, 특정 시간에 서버를 켜고 끄는 방식의 운영은 서비스의 오픈 후에는 지속적인 적용이 어려울 수 있지만, 서비스의 특성에 따라 가능한 경우도 있고, 개발, 스테이징 환경 등에는 항상 적용해 둘 수 있는 비용 절약 방식입니다. 이번 블로그에서는, 특정 Tag와 Lambda를 활용하여 EC2와 RDS를 날짜, 시간에 맞춰 켜고 끄는 방법을 알아보겠습니다. 3가지...
- 블로그 Lambda를 활용한 S3 replication [ 머리말 ] S3는 AWS의 Storage 서비스 중 가장 대표적인 서비스입니다. 수많은 데이터가 S3에 저장되며, 저장을 위한 구성, 연계 또한 용이합니다.S3 자체가 매우 높은 안정성을 보장하지만, Object에 담긴 데이터의 중요성 및 각종 보안 요건에 의해 특정 버킷 또는 object의 복제는 매우 중요하며글로벌 서비스를 대비한 데이터의 리전 분산 혹은 백업과 DR 등은 시스템 구현 시 꼭 고려해야 하는 사항입니다.S3 replication 기능이 S3 자체에서 제공되기 전까지 가장 대표적인 object 복제 방식은 Lambda를...
- 블로그 IAM Role에 대한 심층 탐구 안녕하세요! [머리말] IAM 의 Role 과 Policy에 대한 정의는 대부분 이해하고 계실 것입니다. Role은 Policy와 연계되어 그에 정의된 권한을 보유하며, Service 또는 User에도 sts:AssumeRole 방식으로 부여될 수 있습니다. Policy는 AWS Managed Policy와 Customer Managed Policy의 타입이 존재하며 Inline 형태로 자세한 권한 부여가 가능합니다. 위의 내용이 각각 무엇인지 쉽게 이해가 가능하시다면, 잘 알고 계신 것입니다. 하지만 한 가지 질문을 드려보겠습니다.AWS service-linked role 과 AWS service role, Role, service role for an...
- 블로그 Datasync를 활용한 Data migration [ 머리말 ] DR 또는 Data Migration에서 어떤 툴 / 어떤 서비스가 가장 안정적인가에 대한 이슈는 정말 오랜 기간 동안 IT 업계를 괴롭혀온 이슈입니다.DR이라면 RTO / RPO 등 모든 요건이 괴롭히고, Migration 이면 지속성과 안정성이 핵심 이슈가 됩니다.AWS에서도 Data migration에 쓸 수 있는 다양한 서비스가 존재합니다. Endure 기반의 AWS Elastic Disater Recovery, Storage Gateway, Data Migration Service, Application Migration Service 등이 있습니다.이번에는 그중, DataSync라는 서비스의 구현 방법을 알아보고 실 구현에...