Cloud Function

구조

aws lambda 구조입니다.

Front Env Invoke

동기, 비동기 호출을 모두 관장합니다.

Counting Service

사용자가 얼마나 많은 API 요청을 하는지 모니터링하고 경우에 따라서 서비스를 제한하는 기능을 제공합니다.

Worker

고객 함수(코드)가 안전하게 실행되는 실제 컨테이너 환경으로, OS, Host system 등을 갖고 있는 호스트에서 동작합니다. 독립되어있는 공간입니다.

Worker Manager

실제 컨테이너의 상태를 관리하고 API 요청을 가용가능한 컨테이너로 중계합니다.

워커 매니저가 동작을 중지하면 어떠한 요청도 워커에게 갈 수 없으므로 여러개의 워커 매니저가 존재할 수 있습니다.

Placement Service

Worker 에 sandbox 구성을 자원 활용률이 높고 고객 서비스 영향이 없도록 관리합니다.

기능

Load balancing

가용 영역으로 트래픽을 분산해줍니다.

Auto scaling

컴퓨팅 자원을 효율적으로 사용하기위해 확장 및 축소를 자동화하여 관리해줍니다.

worker manager 가 직접 worker 에게 중계하는게 아닌, 어느 worker 를 쓰는게 효율적인지 placement 에 물어봅니다.

Handling failures

Availability zone 은 떨어져있는 어떠한 데이터센터라고 생각할 수 있습니다. region 안에 어려 가용영역이 존재합니다.

워커는 호스트에서 동작하는데, 해당 호스트의 하드웨어가 고장나더라도 가용영역에 있는 다른 호스트에서 동작할 수 있도록 할 수 있습니다.

또한 가용영역에 문제가 생기더라도 다른 가용영역에서 동작할 수 있습니다.

Isolation

고객의 워크로드(함수 = 코드)는 항상 독립된 환경에서 실행됩니다.

이슈

이벤트 재시도 이슈

pub/sub 을 통해 트리거되는 cloud function 이 재시도되는 현상이 발생했습니다. (cloud function 재시도 정책 및 timeout, pub/sub ack 제한시간 확인 필요)

프로그래밍에서 멱등성은 어플리케이션이 반복되는 이벤트를 식별하고 중복, 데이터 손실 등을 방지하는 기능입니다. 이벤트의 고유값을 식별하고, 해당 이벤트가 다시 들어왔을 때 함수를 종료해주어 해결할 수 있습니다. (https://aws.amazon.com/ko/premiumsupport/knowledge-center/lambda-function-idempotent/)

cloud function 에서는 이벤트 메타데이터 정보를 가지고 있는 context 객체를 제공합니다.

{
    "eventId": "2924206311060957",
    "timestamp": "2021-08-25T15:12:22.251Z",
    "eventType": "google.pubsub.topic.publish",
    "resource": {
        "service": "pubsub.googleapis.com",
        "name": "projects/projectName/topics/topicName",
        "type": "type.googleapis.com/google.pubsub.v1.PubsubMessage"
    }
}

만들어져있던 cloud function 의 동시에 실행될 수 있는 최대 인스턴스의 수는 1000개 입니다. 해당 function 에 db 를 연결하여 이미 실행된 이벤트인지 식별하는 것은 부담스러운 작업입니다. 아래 두가지 방법을 시도해볼 수 있습니다.

방법 1. cloud storage 에 플래그를 두어 같은 이벤트에 대해 재시도를 방지합니다.

방법 2. 일반 서버에 관련 API 를 만들어 호출하는 식으로 이벤트 ID 를 검증합니다.