man sort를 실행시키면 사용법 중 아래와 같은 옵션이 나온다.

    -S, --buffer-size=SIZE
          use SIZE for main memory buffer

• 하지만 정확히 사용자가 입력한 정도로 메모리를 할당하지 않는 것 같다. 충분히 메모리가 큰 서버임에도 불구하고
• 그래서 직접 소스를 열어 확인해 보기로 한다.
• http://ftp.gnu.org/gnu/coreutils/coreutils-7.1.tar.gz 코드를 다운
• sort.c파일에서 specify_sort_size()함수를 분석

struct line{
  char *text;           /* Text of the line. */
  size_t length;        /* Length including final newline. */
  char *keybeg;         /* Start of first key. */
  char *keylim;         /* Limit of first key. */
};

* #define NMERGE_DEFAULT 16
* #define MIN_MERGE_BUFFER_SIZE (2 + sizeof (struct line))
* #define MIN_SORT_SIZE (nmerge * MIN_MERGE_BUFFER_SIZE)

• 사용자가 넣은 문자열을 숫자로 변환한다.

  • ex> 10k = 10 * 1024 = 10240
  • enum strtol_error e = xstrtoumax (s, &suffix, 10, &n, "EgGkKmMPtTYZ");

• 만약 백분율로 주었을 경우도 처리( 10% = 물리적 사용메모리를 얻어와 * 0.1 의 메모리를 할당 )

  • double mem = physmem_total () * n / 100;

• 위에서 계산한 메모리와 MIN_SORT_SIZE중 큰 값을 사용해서 할당( 최종 결과는 sort_size 변수에 담긴다 )

• initbuf()

  • 아래 파라미터 중 alloc는 위에서 설명한 sort_size와 같은 값이다.
  • 원하는 크기만큼 메모리를 할당할 수 없으면 반으로 줄여가면서 시도한다.
  • 메모리가 작으면 성능에 나쁜영향을 주겠지만 안되는 것보다는 좋으니...

static void initbuf (struct buffer *buf, size_t line_bytes, size_t alloc){
    for (;;){
    
        alloc += sizeof (struct line) - alloc % sizeof (struct line);  <- 할당할 메모리 연산 
        buf->buf = malloc (alloc);                                     <- 메모리 할당( alloc만큼 )
        if (buf->buf)                                                  <- 메모리할당이 성공하면
            break;                                                     <- 루프 탈출
        alloc /= 2;                                                    <- 할당한 메모리를 반으로 줄여본다.
        if (alloc <= line_bytes + 1)                                   <- line 구조체의 크기보다 할당할 양이 작다면 종료(의미없다)
            xalloc_die ();
    }

    buf->line_bytes = line_bytes;
    buf->alloc = alloc;
    buf->used = buf->left = buf->nlines = 0;
    buf->eof = false;
}

• https://www.gnu.org/software/coreutils/manual/html_node/sort-invocation.html#sort-invocation

This option can improve the performance of sort by causing it to start with a larger or smaller sort buffer than the default.
However, this option affects only the initial buffer size. 
The buffer grows beyond size if sort encounters input lines larger than size.

• -S옵션은 초기에 설정하는 버퍼 크기에만 영향을 준다.

나라면 이렇게 하겠다. (했다)

• 아래 내용은 sort.c파일에 있는 주석중 일부를 해석한 내용이다.

  * 원하는 크기만큼 메모리를 할당할 수 없으면 반으로 줄여가면서 시도한다. 
  * 메모리가 작으면 성능에 나쁜 영향을 주겠지만 안되는 것보다는 좋으니...

• 메모리를 충분히 사용해서 정렬하지 못할거면 안하는게 낫다.
• 메모리를 충분히 크게 잡아 mmap으로 읽은 후 라인마다 포인터를 달아 이 포인터를 정렬하는 것으로 해결했다.
• 메모리가 충분히 큰 경우 sort보다 최대 몇배 빠른 속도를 보인다.
• 실패하더라도 파일을 split하여 각각 나누고 다시 merge sorting하는 것이 경제적이다.