Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BE] feat: SchoolFestivalsV1QueryService 추가 및 Spring Cache 적용 (#863) #867

Open
wants to merge 8 commits into
base: dev
Choose a base branch
from
4 changes: 4 additions & 0 deletions backend/build.gradle.kts
Original file line number Diff line number Diff line change
Expand Up @@ -36,6 +36,7 @@ dependencies {
implementation("org.springframework.boot:spring-boot-starter-validation")
implementation("org.springframework.boot:spring-boot-starter-web")
implementation("org.springframework.boot:spring-boot-starter-mail")
implementation("org.springframework.boot:spring-boot-starter-cache")
implementation("org.springframework.boot:spring-boot-starter-actuator")
implementation("org.springdoc:springdoc-openapi-starter-webmvc-ui:${swaggerVersion}")

Expand Down Expand Up @@ -86,6 +87,9 @@ dependencies {

// AWS S3
implementation("software.amazon.awssdk:s3:${awsS3Version}")

// Caffeine
implementation("com.github.ben-manes.caffeine:caffeine")
}

tasks.test {
Expand Down
Original file line number Diff line number Diff line change
@@ -0,0 +1,23 @@
package com.festago.common.cache;

import java.util.Optional;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.cache.CacheManager;
import org.springframework.stereotype.Component;

@Component
@RequiredArgsConstructor
@Slf4j
public class CacheInvalidator {

private final CacheManager cacheManager;

public void invalidate(String cacheName) {
Optional.ofNullable(cacheManager.getCache(cacheName))
.ifPresentOrElse(cache -> {
cache.invalidate();
log.info("{} 캐시를 초기화 했습니다.", cacheName);
}, () -> log.error("{} 캐시를 찾을 수 없습니다.", cacheName));
}
}
Comment on lines +9 to +23
Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

캐시 초기화를 담당하는 컴포넌트 입니다.
축제 캐싱이 30분 동안 유지되므로, 그 사이 새로운 축제가 추가되면 사용자가 축제 정보를 확인할 수 없는 문제가 생깁니다.
축제는 관리자가 추가하기에 큰 문제는 아니지만, 가끔 즉시 초기화가 필요한 시점이 있을 수 있기에 별도의 컴포넌트로 분리했습니다.
만약, 수동으로 초기화가 필요하다면 관리자 API를 열어서 직접 초기화하면 될 것 같습니다.

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

축제 등록 시점에 Event를 발행해서 해당 축제에 대한 캐시를 삭제하는 방법은 어떻게 생각하시나유?

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@EventListener(FestvalCreateEvent.class)
@CacheEvict(cacheNames = SCHOOL_FESTIVALS_V1_CACHE_NAME, key = "#event.festival.schoolId")
public void festivalCreateEventSchoolFestivalsV1CacheEvictHandler(FestivalCreateEvent event) {
    ...
}

약간 이런 느낌이려나요?

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

넹 !!!

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

생각해보니깐 저희 서버 인스턴스 현재 한대만 돌리고있죠?! (with 블루그린)
담에 서버 여러대 동시에 떠있는 상황이 되면 로컬 이벤트로는 캐시 정합성 문제가 나올순잇겟네여 (A인스턴스에서 업데이트쳤는데, B인스턴스에는 해당 내용 반영안됨)
그땐 redis pub/sub이나 그런걸루 대채하면 좋을것같아요

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

ㅋㅋㅋ 로컬 캐시라서 어쩔 수 없죠..
그때가 되면 캐싱도 레디스를 사용하지 않을까 싶네요

Original file line number Diff line number Diff line change
@@ -0,0 +1,30 @@
package com.festago.common.cache;

import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.cache.Cache;
import org.springframework.cache.CacheManager;
import org.springframework.cache.caffeine.CaffeineCache;
import org.springframework.context.annotation.Profile;
import org.springframework.context.event.ContextClosedEvent;
import org.springframework.context.event.EventListener;
import org.springframework.stereotype.Component;

@Profile({"!test"})
@Slf4j
@Component
@RequiredArgsConstructor
public class CacheStatsLogger {

private final CacheManager cacheManager;

@EventListener(ContextClosedEvent.class)
public void logCacheStats() {
for (String cacheName : cacheManager.getCacheNames()) {
Cache cache = cacheManager.getCache(cacheName);
if (cache instanceof CaffeineCache caffeineCache) {
log.info("CacheName={} CacheStats={}", cacheName, caffeineCache.getNativeCache().stats());
}
}
}
}
Comment on lines +13 to +30
Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

어플리케이션 종료 시점에 캐시 분석을 위해 로그를 남기도록 했습니다.
마찬가지로 어드민 API를 열어서, 특정 시점에 남길 수 있도록 해도 좋을 것 같네요.
테스트 시 별도의 로그를 남기는 것이 불필요하다 판단되어 @Profile({"!test"})를 적용했습니다!

Copy link
Collaborator Author

@seokjin8678 seokjin8678 Apr 19, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

찾아보니 Spring Actuator에 캐시 상태를 확인할 수 있는 기능이 있네요!
따라서 Actuator를 사용하면 될 것 같습니다.

21 changes: 21 additions & 0 deletions backend/src/main/java/com/festago/config/CacheConfig.java
Original file line number Diff line number Diff line change
@@ -0,0 +1,21 @@
package com.festago.config;

import java.util.List;
import org.springframework.cache.Cache;
import org.springframework.cache.CacheManager;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.cache.support.SimpleCacheManager;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
@EnableCaching
public class CacheConfig {

@Bean
public CacheManager cacheManager(List<Cache> caches) {
SimpleCacheManager cacheManager = new SimpleCacheManager();
cacheManager.setCaches(caches);
return cacheManager;
}
}
Original file line number Diff line number Diff line change
@@ -0,0 +1,20 @@
package com.festago.school.application.v1;

import com.festago.common.cache.CacheInvalidator;
import lombok.RequiredArgsConstructor;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;

@Component
@RequiredArgsConstructor
public class SchoolFestivalsV1CacheInvalidateScheduler {

private final CacheInvalidator cacheInvalidator;

// 매일 정각마다 캐시 초기화
@Scheduled(cron = "0 0 0 * * *")
public void invalidate() {
cacheInvalidator.invalidate(SchoolFestivalsV1QueryService.SCHOOL_FESTIVALS_V1_CACHE_NAME);
cacheInvalidator.invalidate(SchoolFestivalsV1QueryService.PAST_SCHOOL_FESTIVALS_V1_CACHE_NAME);
}
}
Original file line number Diff line number Diff line change
@@ -0,0 +1,35 @@
package com.festago.school.application.v1;

import com.festago.school.dto.v1.SchoolFestivalV1Response;
import com.festago.school.repository.v1.SchoolFestivalsV1QueryDslRepository;
import java.time.Clock;
import java.time.LocalDate;
import java.util.List;
import lombok.RequiredArgsConstructor;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;

@Service
@RequiredArgsConstructor
@Transactional(readOnly = true)
public class SchoolFestivalsV1QueryService {

public static final String SCHOOL_FESTIVALS_V1_CACHE_NAME = "schoolFestivalsV1";
public static final String PAST_SCHOOL_FESTIVALS_V1_CACHE_NAME = "pastSchoolFestivalsV1";
Comment on lines +18 to +19
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

전 이걸 어디 넣나 큰 차이가 없을거라 생각하긴 하는데, 별로 마음에 안드시다면 cache name을 관리해주는 const 클래스 만드는 것도 괜찮을 것 같네요.

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

인터넷에 있는 레퍼런스 보면, ENUM을 만들어서 아예 거기다 만료 시간, 최대 사이즈를 정의한 뒤 CacheManager에 바로 설정하더라구요.

CacheManager cacheManager = new SimpleCacheManager();
List<Cache> caches = Arrays.stream(CacheEnums)
                        .map(cacheStat -> new CaffeineCache(...))
                        .toList();
cacheManager.setCache(caches);

근데 그렇게 하려고 하니, 하나의 파일에 캐시가 관리되니 충돌이 잦을 것 같더라구요.
(캐시 설정에 구현체에 대한 의존이 생기는 것도 덤이구요)
그런 이유로 캐시를 사용하는 클라이언트에 캐시 이름을 놔뒀습니다.

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Caching을 한 곳으로 모은다면 Caching 된 자료를 응용하여 로직을 짤 수 있냐를 판단하기 수월할 것 같은데 Conflict 를 감안하여서 한 곳에 모으는 것은 어떨까요?

Copy link
Collaborator Author

@seokjin8678 seokjin8678 May 29, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

변경에 취약한 구조가 되지 않을까요?

enum Cache {
    SCHOOL_FESTIVALS_V1_CACHE(30, 1000),
    PAST_SCHOOL_FESTIVALS_V1_CACHE(30, 1000),
    ;

    private final int validateTime;
    private final int maxSize;
}

또한 이렇게 해버리면 특정 캐시에 설정을 커스텀하게 할 수 없어요.

CacheManager cacheManager = new SimpleCacheManager();
List<Cache> caches = Arrays.stream(CacheEnums)
                        .map(cache -> Caffeine.newBuilder()
                        .recordStats() // 특정 캐시에 해당 설정이 필요 없다면? 혹은 다른 빌더 메서드가 필요하다면?
                        .expireAfterWrite(cache.validateTime, TimeUnit.MINUTES) 
                        .maximumSize(cache.maxSize)
                        .build())
                        .toList();
cacheManager.setCache(caches);

또한 Caffeine 캐시 구현체가 워낙 잘 만들어서 대체할 가능성이 무척 낮지만..
캐시를 설정하는 곳에서 특정 구현체에 의존적이게 되는 문제도 있습니다..!


private final SchoolFestivalsV1QueryDslRepository schoolFestivalsV1QueryDslRepository;
private final Clock clock;
Comment on lines +16 to +22
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

오호 학교 상세조회 페이지에 캐싱을 적용시키셨요
먼가 메인 페이지의 트래픽이 더 많아서, 거기서의 캐싱도 중요할 것 같은데 거기도 적용해보면 좋을것같아유 (인기축제 목록이라덩가..)

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

네 맞아요 안그래도 메인 페이지 캐싱을 적용해보려고 하는데.. 메인 페이지에 페이징이 들어가 있어서 약간 애매하네요. 😂
그래서 페이징 처리를 하지 않는 첫 요청일때만 해보려고 생각도 해봤어요. (커서 기반 페이징이니 키를 조합해서 사용해도 될 것 같기도 하네요)

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

화면상 메인 페이지를 가장 많이 접할 거라 생각이 들지만 메인 페이지가 가장 데이터의 변화가 많은 곳이라 캐싱 무효화를 가장 많이할 것으로 예상되는데...
저는 그래도 캐싱을 하는 것이 더 낫다고 생각됩니다.
그 이유는 메인 화면에서 제공되는 데이터가 1. 인기 축제 목록 2. 축제 목록 두 가지인데
이 두 가지 데이터가 변경되었다 하더라도 그것을 반드시 실시간으로 반영해서 보여줄 필요는 없을 것 같습니다.
캐싱 정보를 한 시간 정도로 확인하고 갱신하는 스케줄러로 풀어가는 것이 제공하는 서비스를 크게 헤칠 것이라 판단되지는 않네요!!


@Cacheable(cacheNames = SCHOOL_FESTIVALS_V1_CACHE_NAME, key = "#schoolId")
public List<SchoolFestivalV1Response> findFestivalsBySchoolId(Long schoolId) {
LocalDate now = LocalDate.now(clock);
return schoolFestivalsV1QueryDslRepository.findFestivalsBySchoolId(schoolId, now);
}

@Cacheable(cacheNames = PAST_SCHOOL_FESTIVALS_V1_CACHE_NAME, key = "#schoolId")
public List<SchoolFestivalV1Response> findPastFestivalsBySchoolId(Long schoolId) {
LocalDate now = LocalDate.now(clock);
return schoolFestivalsV1QueryDslRepository.findPastFestivalsBySchoolId(schoolId, now);
}
}
Comment on lines +13 to +35
Copy link
Collaborator Author

@seokjin8678 seokjin8678 Apr 17, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

SchoolFestivalsV1QueryService에서 CacheName을 가지고 있습니다.
이유는 누군가 CacheName을 관리해야 하는데, 캐시 구현체인 SchoolFestivalsV1CacheConfig에서 관리하기엔 application 레이어인 Service에서 infrastructure에 대한 의존이 발생하더군요. 😂
따라서 캐시의 직접적인 사용자인 SchoolFestivalsV1QueryService에서 CacheName을 가지고 있도록 하였습니다.
CacheName이 문자열 + 불변하므로, public으로 노출되더라도 큰 문제는 없을 것 같다고 판단됩니다.

Original file line number Diff line number Diff line change
@@ -0,0 +1,38 @@
package com.festago.school.infrastructure;

import com.festago.school.application.v1.SchoolFestivalsV1QueryService;
import com.github.benmanes.caffeine.cache.Caffeine;
import java.util.concurrent.TimeUnit;
import org.springframework.cache.Cache;
import org.springframework.cache.caffeine.CaffeineCache;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class SchoolFestivalsV1CacheConfig {

private static final long EXPIRED_AFTER_WRITE = 30;
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

30분 만료시간은 어떤 이유 / 기준일 까요?

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

별 이유는 없습니다... 그냥 30분이 적절한 것 같더라구요. 😂

private static final long MAXIMUM_SIZE = 1_000;

@Bean
public Cache schoolFestivalsV1Cache() {
return new CaffeineCache(SchoolFestivalsV1QueryService.SCHOOL_FESTIVALS_V1_CACHE_NAME,
Caffeine.newBuilder()
.recordStats()
.expireAfterWrite(EXPIRED_AFTER_WRITE, TimeUnit.MINUTES)
.maximumSize(MAXIMUM_SIZE)
.build()
Comment on lines +20 to +24
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

expireAfterWrite 을 명시해주었다면

 @Scheduled(cron = "0 0 0 * * *")
    public void invalidate() {
        cacheInvalidator.invalidate(SchoolFestivalsV1QueryService.SCHOOL_FESTIVALS_V1_CACHE_NAME);
        cacheInvalidator.invalidate(SchoolFestivalsV1QueryService.PAST_SCHOOL_FESTIVALS_V1_CACHE_NAME);
    }

매일 갱신해주지 않아도 되지 않을까요??
제가 이해한 바로는 해당 값이 1. 데이터 생성 2. 데이터 갱신 시점 이후 N분이 지날 경우 Cache 데이터를 없애는 설정으로 이해했는데
저희는 명시적으로 Cache 데이터가 있을 때 값을 대체하지 않기 때문에 2번의 경우는 해당사항이 없는 것으로 이해했습니다.
따라서 제일 처음 사용자가 요청했을 때는 값이 없으니 새로 Cache에 삽입하고, 30분이 지난 시점에는 사라졌기 때문에 또다시 데이터를 가져온다면, 매일 단위로 캐시 초기화는 하지 않아도 될 것으로 생각되네요!!
혹시 제가 해당 설정에 대해서 잘못 이해하고 있는 것인가요 😂

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

하루가 지나는 정각에 캐시를 비워주지 않으면 사용자가 잘못된 축제를 조회할 일이 생깁니다..!
예를들어 23시 40분에 사용자가 조회를 하여, 캐시가 갱신이 되었다고 했을 때, 30분이 지난 다음날 0시 10분 까지 해당 캐시는 유지가 됩니다.
그런데 0시가 지나면, 당일 끝난 축제는 조회가 되면 안됩니다.
하지만 캐시로 축제가 유지되고 있기에 0시 0분에서 0시 10분까지는 잘못된 축제를 조회하게 됩니다.
따라서 이러한 상황을 막아야 하기 때문에 0시마다 강제로 모든 캐시를 비워야 합니다..!

);
}
Comment on lines +14 to +26
Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

MAXIMUM_SIZE를 좀 크게 잡긴 했는데... 캐시의 최대 사이즈가 학교 이상으로 커질 수 없기 때문에 의미가 있나 싶긴하네요. 😂


@Bean
public Cache pastSchoolFestivalsV1Cache() {
return new CaffeineCache(SchoolFestivalsV1QueryService.PAST_SCHOOL_FESTIVALS_V1_CACHE_NAME,
Caffeine.newBuilder()
.recordStats()
.expireAfterWrite(EXPIRED_AFTER_WRITE, TimeUnit.MINUTES)
.maximumSize(MAXIMUM_SIZE)
.build()
);
}
}
Original file line number Diff line number Diff line change
@@ -0,0 +1,64 @@
package com.festago.school.repository.v1;

import static com.festago.festival.domain.QFestival.festival;
import static com.festago.festival.domain.QFestivalQueryInfo.festivalQueryInfo;

import com.festago.common.querydsl.QueryDslHelper;
import com.festago.school.dto.v1.QSchoolFestivalV1Response;
import com.festago.school.dto.v1.SchoolFestivalV1Response;
import java.time.LocalDate;
import java.util.Comparator;
import java.util.List;
import lombok.RequiredArgsConstructor;
import org.springframework.stereotype.Repository;

@Repository
@RequiredArgsConstructor
public class SchoolFestivalsV1QueryDslRepository {

private final QueryDslHelper queryDslHelper;

public List<SchoolFestivalV1Response> findFestivalsBySchoolId(
Long schoolId,
LocalDate today
) {
return queryDslHelper.select(
new QSchoolFestivalV1Response(
festival.id,
festival.name,
festival.festivalDuration.startDate,
festival.festivalDuration.endDate,
festival.posterImageUrl,
festivalQueryInfo.artistInfo
)
)
.from(festival)
.leftJoin(festivalQueryInfo).on(festivalQueryInfo.festivalId.eq(festival.id))
.where(festival.school.id.eq(schoolId).and(festival.festivalDuration.endDate.goe(today)))
.stream()
.sorted(Comparator.comparing(SchoolFestivalV1Response::startDate))
.toList();
}

public List<SchoolFestivalV1Response> findPastFestivalsBySchoolId(
Long schoolId,
LocalDate today
) {
return queryDslHelper.select(
new QSchoolFestivalV1Response(
festival.id,
festival.name,
festival.festivalDuration.startDate,
festival.festivalDuration.endDate,
festival.posterImageUrl,
festivalQueryInfo.artistInfo
)
)
.from(festival)
.leftJoin(festivalQueryInfo).on(festivalQueryInfo.festivalId.eq(festival.id))
.where(festival.school.id.eq(schoolId).and(festival.festivalDuration.endDate.lt(today)))
.stream()
.sorted(Comparator.comparing(SchoolFestivalV1Response::endDate).reversed())
.toList();
}
}
Loading
Loading