로그 식별자를 사용하여 Web Server 로그와 Web Application Server 로그 공유하기 (nginx, express)

web server vs web application server

 

web server는 정적 컨텐츠 (html, css, js, 이미지 … )를 서비스하는데 특화된 서비스이다.

 

다음과 같은 역할을 수행한다. 

• 정적 컨텐츠 제공
• HTTP 요청 처리
• 보안
• 로드 밸런싱
• reverse proxy

web application server는 web server 단독으로 처리하기 어려운 동적 컨텐츠를 제공해준다.

 

다음과 같은 역할을 수행한다.

• 데이터베이스 조회
• 다양한 로직 처리 

reverse proxy server

정적 컨텐츠를 제공하기 위해 Apache나 Ngingx와 같은 웹 서버를 웹 애플리케이션 서버 앞 단에 두고 reverse proxy server로 사용할 때가 있다.

 

https://research.aimultiple.com/forward-vs-reverse-proxy/

reverse proxy server를 두는 이유는 다음과 같다.

 

• 캐싱 : proxy server에서 같은 요청이 들어오면 proxy server에서 캐싱해 둔 데이터를 보내줄 수 있다. WAS의 부담이 줄어든다.
• 로드 밸런싱 : WAS가 여러 대라면 트래픽을 웹 서버에서 모두 받아서 트래픽을 WAS에게 분배해줄 수 있다.
• 보안 : 클라이언트가 실제 WAS의 주소를 알 수 없어서 보안이 강화된다.

Web server (Nginx) 로깅

reverse proxy server로 유명한 Nginx의 로깅에 대해 알아보자.

 

환경을 구축할 공간은 aws의 EC2를 선택했다.

 

nginx는 다음 명령어로 설치할 수 있다. 패키지 관리 명령어는 os에 맞게 선택하면 된다. 

 

나는 레드햇 계열 리눅스인 CentOS를 사용했기 때문에 yum을 사용했다.

sudo yum install nginx

 

Nginx는 기본적으로 에러, http 요청과 응답에 대한 로깅을 제공해준다.

 

에러는 /var/log/nginx/error.log에 http 요청은 /var/log/nginx/access.log에 저장된다.

 

일단 들어오는 요청을 WAS로 보내기 위한 설정을 해보자.

 

현재 WAS는 express 서버를 활용해서 node.js로 3000번 포트에 띄운 상태이다.

 

server {
  listen  80; # 80포트로 요청이 들어오면
  server_name 11.11.11.11; # nginx가 실행 중인 서버 주소

  access_log /var/log/nginx/access.log; # 접근 로그
  error_log /var/log/nginx/error.log; # 에러 로그

  location / {
    proxy_pass http://127.0.0.1:3000; # 127.0.0.1의 3000번 포트로 요청을 보낸다.
  }
}

 

위 문법은 11.11.11.11 주소의 80번 포트로 들어온 요청에 대해서 접근 로그는 /var/log/nginx/access.log

에 저장하고 에러 로그는 /var/log/nginx/error.log에 저장한다는 뜻이다.

 

주소는 자신의 가상 머신 주소에 맞게 변경하자.

 

그리고 모든 경로(루트 경로)에 대해서 127.0.0.1:3000(WAS가 띄워진 곳)으로 보낸다.

 

참고로 로그 저장 형식은 /etc/nginx/nginx.conf에서 정의할 수 있고 default는 다음과 같다.

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

 

 

11.11.11.11 - - [14/Sep/2024:23:23:06 +0000] "GET /cgi-bin/luci/;stok=/locale HTTP/1.1" 404 165 "-" "Hello" "-" 

 

들어오는 요청에 대해 클라이언트, 시간, 경로 등등... 다양한 정보를 제공해준다.

 

이 요청은 결국 WAS에게 전달되어 실질적인 로직을 처리하기 때문에 WAS에서도 access log 정보를 저장해야 한다.

 

그런데 WAS에서 단순하게 로깅을 하면 Nginx의 요청에 대해 로깅하기 때문에 정확한 클라이언트의 정보를 얻기 힘들다.

 

위에서 언급한 reverse proxy server의 보안 부분에 해당한다.

 

그래서 WAS에서도 실제 클라이언트의 정보를 알기 위해 nginx 로그와 was 로그가 서로 unique 한 값을 공유해야 한다.

 

이 값을 공유하면 was 로그를 보고 unique한 값을 보고 nginx 로그를 확인할 수 있다.

 

그리고 nginx에서는 http 요청마다 request_id라는 고유한 값을 부여할 수 있다.

 

log format에 $request_id를 추가하자.

 

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" "$request_id"';

 

$request_id를 설정했다면 이제 로그에 아래처럼 고유한 값이 로그에 함께 기록된다.

 

[클라이언트 주소] - - [15/Sep/2024:03:07:10 +0000] "GET /favicon.ico HTTP/1.1" 404 150 "http://[가상머신 주소]/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36" "-" "5ac274ac552f365616ce7a9de7047a96"   

 

이제 이 $request_id를 header에 담아서 WAS에게 보내면 된다.

proxy_set_header X-Request-ID $request_id;

 

 

nginx에서 제공해주는 $request_id를 proxy header에 세팅하면 된다.

 

WAS에서는 요청 헤더에 존재하는 X-Request-ID 값을 가져와서 함께 로깅하면 된다.

 

</etc/nginx/nginx.conf>

# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log notice;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" "$request_id"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    keepalive_timeout   65;
    types_hash_max_size 4096;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    # Load modular configuration files from the /etc/nginx/conf.d directory.
    # See http://nginx.org/en/docs/ngx_core_module.html#include
    # for more information.
    include /etc/nginx/conf.d/*.conf;
    server {
        listen 80;
        server_name 13.55.143.162;
        location / {
           proxy_pass http://127.0.0.1:3000;
           }
        }
    server {
        listen       80;
        listen       [::]:80;
        server_name  _;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        error_page 404 /404.html;
        location = /404.html {
        }

        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
        }
    }
}

 

WAS (express) 로깅

express를 기준으로 로깅을 해보자.

 

http 요청 응답 로깅을 도와주는 morgan을 설치한다.

 

npm install morgan

 

morgan 로그 형식을 커스텀해야 한다.

 

morgan에는 기본적으로 제공해주는 토큰들이 있고 이 토큰들을 사용해서 로그 형식을 정할 수 있다.

 

하지만 request id에 대한 토큰은 header에 세팅되는 값으로 따로 정의되지 않았기 때문에 직접 정의해야 한다.

 

요청 헤더의 x-request-id값을 가져와서 request-id라는 이름의 토큰으로 등록한 뒤 사용하면 된다. 

...
const accessLogStream = createStream("access.log", {
  interval: '1d',
  size: '10M',
  path: path.join(__dirname, 'logs'),
});

const app = express();
morgan.token('request-id', (req: any) => {
  console.log(req.headers.get('x-request-id'));
  return req.headers.get('x-request-id');
});

app.use(
  morgan(
    ':remote-addr - :remote-user [:date[clf]] ":method :url HTTP/:http-version" :status :res[content-length] ":referrer" ":user-agent" ":request-id"',
    { stream: accessLogStream },
  ),
);
...

 

위와 같이 설정을 하면 아래와 같이 로그의 끝에 unique 값이 들어간다.

 

::ffff:127.0.0.1 - - [15/Sep/2024:03:28:04 +0000] "GET /components/Card.js HTTP/1.0" 304 - "http://13.55.143.162/components/Column.js" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36" "033ad6f5071c79223a00f7f2e0c6da9f"

 

이제 WAS 로그의 unique 값을 보고 이와 동일한 값을 가지는 WS 로그를 찾을 수 있고 실제 클라이언트의 정보를 알 수 있다.

 

출처

 

https://research.aimultiple.com/forward-vs-reverse-proxy/

Forward vs. Reverse Proxy: Overview, Benefits and Use Cases in '24

https://oneny.tistory.com/108

Nginx와 WAS의 로깅 식별자(request_id) 공유하기

https://nginxstore.com/blog/nginx/nginx-request_id-%EB%B3%80%EC%88%98%EB%A1%9C-%EC%95%A0%ED%94%8C%EB%A6%AC%EC%BC%80%EC%9D%B4%EC%85%98-%EC%B6%94%EC%A0%81%ED%95%98%EA%B8%B0/

NGINX $request_id 변수로 애플리케이션 추적하기

https://inpa.tistory.com/entry/NETWORK-%F0%9F%93%A1-Reverse-Proxy-Forward-Proxy-%EC%A0%95%EC%9D%98-%EC%B0%A8%EC%9D%B4-%EC%A0%95%EB%A6%AC

🌐 Reverse Proxy / Forward Proxy 정의 & 차이 정리