CESM

CESM(Community Earth System Model)是一个由美国国家大气研究中心(NCAR)开发的气候系统模式，目前得到广泛的应用。本文是使用笔者一开始学习CESM时的一份记录，很多操作时间一长会忘记，所以这里就备份这份笔记。

一、提交脚本

 #!/bin/bash
 #SBATCH --nodes=1                   # 节点数量
 #SBATCH --ntasks-per-node=56        # 每个节点核心数量
 #SBATCH --ntasks=56                 # 总核心数
 #SBATCH --partition=g1_share           # 队列分区且必须指定正确分区
 #SBATCH --job-name=of                # 作业名称
 #SBATCH --output=of.%j.out          # 正常日志输出 (%j 参数值为 jobId)
 #SBATCH --error=of.%j.err           # 错误日志输出 (%j 参数值为 jobId)

 ##############################################
 #          Software Envrironment             #
 ##############################################
 unset I_MPI_PMI_LIBRARY                        # 取消默认mpi库，使用intel自带
 export I_MPI_JOB_RESPECT_PROCESS_PLACEMENT=0   # intel 多节点作业所需修改参数
 module load intel/2022 intelmpi/2022           # intel 环境加载
 moudle load openfoam                           # 软件加载(参考module使用方法，选择具体版本)

 ##############################################
 #               Run job                      #
 ##############################################

./case.build

./case.submit

二、编译

预准备

首先查看目前CESM已经有的版本：

svn list https://svn-ccsm-release.cgd.ucar.edu/model_versions

然后下载需要的版本：

svn co https://svn-ccsm-release.cgd.ucar.edu/model_versions/cesm1_2_1 cesm1_2_1

其他软件，如编译器，并行库，netCDF等需要提前安装好，笔者用的是intel编译器套件Parallel Studio，同时并行库一般用的OpenMPI或者IMPI，此外需要提前下载好CESM的输入数据。

然后利用命令：

cd ccsm4/scripts
./create_newcase -l

列出模式支持的系统信息。

设置环境变量(CEMS与CAM5)

#For CESM
export CAM_ROOT=/home/qianqf/cesm1_2_1
export camcfg=/home/qianqf/cesm1_2_1/models/atm/cam/bld
export INC_NETCDF=/home/qianqf/lib4cam/include
export LIB_NETCDF=/home/qianqf/lib4cam/lib
export INC_MPI=/share/apps/openmpi-1.4.5/include
export LIB_MPI=/share/apps/openmpi-1.4.5/lib
export CSMDATA=/home2_hn/CESM/cesm-input
export MOD_NETCDF=/home/qianqf/lib4cam/include

编辑config_machines.xml文件

<machine MACH="qqf">
　　　<DESC>LINUX cluster</DESC>
　　　<OS>LINUX</OS>
　　　<COMPILERS>intel</COMPILERS>
　　　<MPILIBS>openmpi</MPILIBS>
　　　<RUNDIR>/home2_hn/qianqf/$CASE/run</RUNDIR>
　　　<EXEROOT>/home2_hn/qianqf/$CASE/bld</EXEROOT>
　　　<DIN_LOC_ROOT>/home2_hn/CESM/cesm-input</DIN_LOC_ROOT>
　　　<DIN_LOC_ROOT_CLMFORC>/home2_hn/CESM/cesm-input/atm/datm7</DIN_LOC_ROOT_CLMFORC>
　　　<DOUT_S>FALSE</DOUT_S>
　　　<DOUT_S_ROOT>/home2_hn/qianqf/$CASE</DOUT_S_ROOT>
　　　<DOUT_L_MSROOT>/home2_hn/qianqf/$CASE</DOUT_L_MSROOT>
　　　<CCSM_BASELINE>UNSET</CCSM_BASELINE>
　　　<CCSM_CPRNC>UNSET</CCSM_CPRNC>
　　　<BATCHQUERY>qstat</BATCHQUERY>
　　　<BATCHSUBMIT>qsub</BATCHSUBMIT>
　　　<SUPPORTED_BY>qqf1403321992 -at- gmail.com</SUPPORTED_BY>
　　　<GMAKE_J>1</GMAKE_J>
　　　<MAX_TASKS_PER_NODE>16</MAX_TASKS_PER_NODE>
</machine>

配置env_mach_specific文件

由于config_machines.xml里设置了MACH=“qqf”，所以env_mach_specific后缀为qqf，即env_mach_specific.qqf。但这个文件实际并不会起什么太大的作用。

#! /bin/csh -f
# -------------------------------------------------------------------------
# USERDEFINED
# Edit this file to add module load or other paths needed for the build
# and run on the system.  Can also include general env settings for machine.
# Some samples are below
# -------------------------------------------------------------------------
#source /opt/modules/default/init/csh
#if ( $COMPILER == "pgi" ) then
#  module load pgi
#endif
#module load netcdf
#limit coredumpsize unlimited

配置mkbatch文件

和env_mach_specific文件一样，根据config_machines.xml里设置了MACH=“qqf”，所以后缀也是qqf，即mkbatch.qqf

#! /bin/csh -f
set mach = qqf
#################################################################################
if ($PHASE == set_batch) then
#################################################################################
source ./Tools/ccsm_getenv || exit -1
`set ntasks  = `${UTILROOT}/Tools/taskmaker.pl -sumonly` `
`set maxthrds = `${UTILROOT}/Tools/taskmaker.pl -maxthrds` `
nodes = $ntasks / ${MAX_TASKS_PER_NODE}
if ( $ntasks % ${MAX_TASKS_PER_NODE} > 0) then
　　@ nodes = $nodes + 1
　　@ ntasks = $nodes * ${MAX_TASKS_PER_NODE}
endif
@ taskpernode = ${MAX_TASKS_PER_NODE} / ${maxthrds}
set qname = batch
set tlimit = "00:59:00"
#--- Job name is first fifteen characters of case name ---
`set jobname = `echo ${CASE} | cut -c1-15` `
cat >! $CASEROOT/${CASE}.${mach}.run << EOF1
#PBS -l nodes=${nodes}:ppn=${taskpernode}
#!/bin/csh -f
#===============================================================================
# GENERIC_USER
# This is where the batch submission is set.  The above code computes
# the total number of tasks, nodes, and other things that can be useful
# here.  Use PBS, BSUB, or whatever the local environment supports.
#===============================================================================
##PBS -N ${jobname}
##PBS -q ${qname}
##PBS -l nodes=${nodes}:ppn=${taskpernode}
##PBS -l walltime=${tlimit}
##PBS -r n
##PBS -j oe
##PBS -S /bin/csh -V
##BSUB -l nodes=${nodes}:ppn=${taskpernode}:walltime=${tlimit}
##BSUB -q ${qname}
###BSUB -k eo
###BSUB -J $CASE
###BSUB -W ${tlimit}
#limit coredumpsize 1000000
#limit stacksize unlimited
#BSUB -J ${CASE}
#BSUB -q hpc_linux
#BSUB -n ${maxtasks}
#BSUB -o output.%J
#BSUB -e error.%J
EOF1
#################################################################################
else if ($PHASE == set_exe) then
#################################################################################
`set maxthrds = `${UTILROOT}/Tools/taskmaker.pl -maxthrds` `
`set maxtasks = `${UTILROOT}/Tools/taskmaker.pl -sumtasks`
cat >> ${CASEROOT}/${CASE}.${MACH}.run << EOF1
# -------------------------------------------------------------------------
# Run the model
# -------------------------------------------------------------------------
sleep 25
cd \$RUNDIR
`echo "\`date\` -- CSM EXECUTION BEGINS HERE" `
#===============================================================================
# GENERIC_USER
# Launch the job here.  Some samples are commented out below
#===============================================================================
setenv OMP_NUM_THREADS ${maxthrds}
if (\$USE_MPISERIAL == "FALSE") then
　　　#
　　　# Find the correct mpirun command and comment it out
　　　# Usually it will just be mpiexec or mpirun...
　　　# Remove the echo and exit below when you've done so.
　　　#
　　　#echo "GENERIC_USER: Put the correct mpirun command in your *.run script, then remove this echo/exit"
　　　#exit 2
　　　mpiexec -n ${maxtasks} ./ccsm.exe >&! ccsm.log.\$LID
　　　#mpirun -np ${maxtasks} ./ccsm.exe >&! ccsm.log.\$LID
　　　#./ccsm.exe
else
　　　./ccsm.exe >&! ccsm.log.\$LID
endif
wait
`echo "\`date\` -- CSM EXECUTION HAS FINISHED" `
EOF1
#################################################################################
else if ($PHASE == set_larch) then
#################################################################################
#This is a place holder for a long-term archiving script
#################################################################################
else
#################################################################################
　　　echo "mkscripts.$mach"
　　　echo "  PHASE setting of $PHASE is not an accepted value"
　　　echo "  accepted values are set_batch, set_exe and set_larch"
　　　exit 1
#################################################################################
endif
#################################################################################

新建CASE

执行下面这条命令：

./create_newcase -case test -res f19_g16 -compset X -mach qqf

-case：新建的CASE的名字

-res：分辨率

-compset：需要哪些分量模式组合，如何组合等设置，具体参考手册

-mach：机器名，和前面的配置一致

进入名为test的case文件夹，修改env_mach_specific，env_mach_pes.xml等文件，需要注意配置用多少个CPU。依次执行cesm_setup，check_case，check_input_data这三个脚本。执行后缀为build的脚本进行编译，然后执行后缀为submit的脚本进行提交：${CASE}.build，${CASE}.submit

CAM单独编译运行

前面总结的是CESM模式的编译运行，但是理论上CESM的每个分量模式都可以单独编译运行。由于笔者主要用过CAM，这里记录CAM的单独编译运行流程。

CAM3

CAM3不同于目前的CAM5，CAM3是谱模式，同时单独提供一个文件下载。CAM3现在用的较少，而且不能使用太新的并行库，但是CAM3编译较为简单，这里一并记录。

环境变量设置

先配置好环境变量：

#For CAM3
export CAM_ROOT=/home/qianqf/cam3/cam1
export INC_NETCDF=/share/apps/local/include
export LIB_NETCDF=/share/apps/local/lib
export INC_MPI=/share/apps/openmpi-1.4.5/include
export LIB_MPI=/share/apps/openmpi-1.4.5/lib
export USER_FC=ifort
export USER_CC=icc
export CSMDATA=/home/qianqf/cam3`

配置

把下面的这些内容写入一个configure.sh文件执行configure配置CAM3：

#!/bin/sh
$CAM_ROOT/models/atm/cam/bld/configure -cam_bld /home/qianqf/CAM3/bld -cam_exedir /home/qianqf/CAM3 -spmd -test -debug
cd ./bld
gmake
cd ..
$CAM_ROOT/models/atm/cam/bld/build-namelist -config /home/qianqf/CAM3/bld/config_cache.xml -test

配置namelist

&camexp
　absems_data            = '/home/qianqf/cam3/atm/cam/rad/abs_ems_factors_fastvx.c030508.nc'
　aeroptics              = '/home/qianqf/cam3/atm/cam/rad/AerosolOptics_c040105.nc'
　bnd_topo               = '/home/qianqf/cam3/atm/cam/topo/topo-from-cami_0000-09-01_64x128_L26_c030918.nc'
　bndtvaer               = '/home/qianqf/cam3/atm/cam/rad/AerosolMass_V_64x128_clim_c031022.nc'
　bndtvo         = '/home/qianqf/cam3/atm/cam/ozone/pcmdio3.r8.64x1_L60_clim_c970515.nc'
　bndtvs         = '/home/qianqf/sst_64X128x_201202modify.nc'
　caseid         = 'camrun2013avg'
　iyear_ad               = 1950
　ncdata         = '/home/qianqf/cam3/atm/cam/inic/gaus/cami_0000-09-01_64x128_L26_c030918.nc'
　start_ymd      = 20000101
　nelapse                = -3650
　nsrest         = 0
　scon           = 1.367E6
　co2vmr         = 3.550e-4
/
&clmexp
　finidat                = '/home/qianqf/cam3/lnd/clm2/inidata_2.1/cam/clmi_0000-09-01_64x128_T42_USGS_c030609.nc'
　fpftcon                = '/home/qianqf/cam3/lnd/clm2/pftdata/pft-physiology'
　fsurdat                = '/home/qianqf/cam3/lnd/clm2/srfdata/cam/clms_64x128_USGS_c030605.nc'
/

运行

./cam < namelist

CAM5 > CAM5使用的一般流程如下：运行config.sh–>进入bld文件夹下，运行gmake -j2 或者 gmake–>运行namelist.sh–>修改各项参数–>运行CAM5。CAM5的环境变量可以与CESM设置在一起，因为CAM5和CAM3不同，不再单独提供一个包给用户使用。
config.sh配置

#!/bin/sh
#$camcfg/configure --help
#$camcfg/configure -dyn fv -hgrid 10x15 -nosmp -nospmd -test -ice sice -ocn socn -lnd slnd -rof srof -cam_bld /home/qianqf/camtest/fuck -cc icc -debug -fc ifort -fc_type intel -target_os linux
#$camcfg/configure -dyn fv -hgrid 4x5 -nosmp -spmd -ntasks 16 -test -ice cice -ocn docn -lnd clm -rof rtm -cam_bld /home3_hn/qianqf/CAM/bld -cc mpicc -debug -fc mpif90 -fc_type intel -target_os linux
$camcfg/configure -dyn fv -hgrid 0.9x1.25 -carma none -nosmp -spmd -ntasks 160 -test -cam_bld /home/qianqf/CAM5/try/bld -cc mpicc -debug -fc mpif90 -fc_type intel -target_os linux`

namelist.sh设置namelist

#!/bin/sh
$camcfg/build-namelist -test -config /home/wjh/CAM5/try/bld/config_cache.xml -ntasks 160

运行

./cam < namelist

修改海冰与海温强迫场和制作初始场海温和海冰的数据都放在不同的文件里，ice_in文件里面的stream_domfilename和stream_fldfilename两个设置分别指向强迫场的数据。文件docn.stream.txt中filepath和filename两个参数也需要修改成对应强迫场的文件位置。初始场的制作，需要先在atm_in中ncdata参数的下一行增加inithist=‘6-HOURLY’，和inithist_all=True，然后运行一段时间即可。

CESM

CESM

一、提交脚本

二、 编译

二、编译