● C プログラム bigadd.c

[kato@photon29 SAMPLES]$ cat bigadd.c
#include <stdio.h>
#define SIZE 600000000 /* > 2GB/4 */

static float a[SIZE], b[SIZE];
int main()
{
long long i, n, m;
float c[SIZE]; /* goes on stack */

n = SIZE;
m = 0;
  for (i = 0; i < n; i += 10000) {
  a[i] = i + 1;
  b[i] = 2.0 * (i + 1);
  c[i] = a[i] + b[i];
  m = i;
  }
printf("a[0]=%g b[0]=%g c[0]=%g\n", a[0], b[0], c[0]);
printf("m=%lld a[%lld]=%g b[%lld]=%gc[%lld]=%g\n",m,m,a[m],m,b[m],m,c[m]);
return 0;
}

● Linux上で実行してみる

【コンパイル】 -mcmodel=mediumオプション
							
[kato@photon29 SAMPLES]$ pgcc -mcmodel=medium -fastsse -Minfo bigadd.c
main:
     12, Loop not vectorized: mixed data types
         Loop not vectorized: may not be beneficial
         Unrolled inner loop 4 times
         
【実行】 

[kato@photon29 SAMPLES]$ ./a.out
Segmentation fault
（セグメンテーションフォルト発生）

【コンパイル】 -Mchkstk（実行時のスタックサイズの出力）を追加し、ランタイムで stack sizeを把握する

[kato@photon29 SAMPLES]$ pgcc -mcmodel=medium -fastsse -Minfo -Mchkstk bigadd.c
main:
     12, Loop not vectorized: mixed data types
         Loop not vectorized: may not be beneficial
         Unrolled inner loop 4 times
         
[kato@photon29 SAMPLES]$ ./a.out
Error: in routine main there is a
stack overflow: thread 0, max 10228KB, used 0KB, request -1894967208B
スタックサイズが足りないことが分かる。ここで表示されるサイズの量は、あまり厳密に考えない。

【現在のスタックサイズの把握（bash)】 

[kato@photon29 SAMPLES]$ ulimit -s
10240

【スタックサイズの変更（bash) 3GB に変更後、実行】

[kato@photon29 SAMPLES]$ ulimit -s 3000000000

[kato@photon29 SAMPLES]$ ./a.out
a[0]=1 b[0]=2 c[0]=3
m=599990000 a[599990000]=5.9999e+08 b[599990000]=1.19998e+09c[599990000]=1.79997e+09

実行モジュール a.out の bss セクションのサイズ表示（2GB を越えていることが分かる）
[kato@photon29 SAMPLES]$ size --format=sysv a.out | grep bss
.bss             4800000064   6295360
[kato@photon29 SAMPLES]$ size --format=sysv a.out | grep Total
Total            4800003980  

● Fortran プログラム mat.f90 （6GB 以上）

[kato@photon30 SAMPLES]$ cat mat.f90
program mat
integer i, j, k, size, l, m, n
parameter (size=16000) ! >2GB
parameter (m=size,n=size)
real*8 a(m,n),b(m,n),c(m,n),d

do i = 1, m
do j = 1, n
  a(i,j)=10000.0D0*dble(i)+dble(j)
  b(i,j)=20000.0D0*dble(i)+dble(j)
enddo
enddo

!$omp parallel
!$omp do
do i = 1, m
do j = 1, n
  c(i,j) = a(i,j) + b(i,j)
enddo
enddo

!$omp do
do i=1,m
do j = 1, n
  d = 30000.0D0*dble(i)+dble(j)+dble(j)
  if(d .ne. c(i,j)) then
  print *,"err i=",i,"j=",j
  print *,"c(i,j)=",c(i,j)
  print *,"d=",d
  stop
  endif
enddo
enddo
!$omp end parallel

print *, "M =",M,", N =",N
print *, "c(M,N) = ", c(m,n)
end

● Linux上で実行してみる

【コンパイル】 -mcmodel=medium, -i8 オプション
							
[kato@photon30 SAMPLES]$ pgfortran -mcmodel=medium -i8 -mp -fast -Minfo mat.f90
mat:
      7, Loop interchange produces reordered loop nest: 8,7
         Unrolled inner loop 4 times
         Used combined stores for 2 stores
     14, Parallel region activated
     16, Parallel loop activated with static block schedule
         Loop interchange produces reordered loop nest: 17,16
         Generated an alternate version of the loop
         Generated vector sse code for the loop
         Generated 2 prefetch instructions for the loop
     22, Barrier
     23, Parallel loop activated with static block schedule
     24, Loop not vectorized/parallelized: contains call
     34, Barrier
         Parallel region terminated
         
【実行】 

[kato@photon30 SAMPLES]$ ulimit -s  (stacksize を調べる）
10240

[kato@photon30 SAMPLES]$ time ./a.out
 M =                    16000 , N =                    16000
 c(M,N) =     480032000.0000000

real    0m2.832s
user    0m7.645s
sys     0m1.899s

（a.out は 6GB 以上使用するプログラム)
[kato@photon30 SAMPLES]$ size --format=sysv a.out | grep bss
.bss             6144000416   6300672
[kato@photon30 SAMPLES]$ size --format=sysv a.out | grep Total
Total            6144008305