为了更好的管理用户数据以及提高用户处理数据的效率，平台将对收数据流程做以下调整：
1. 收集数据不再存放在/home/data/Titan*/K*下面，而是统一存放在用户家目录下，即 /home/用户账户/下。同步之后的数据在图信存储相应的用户家目录下面。
2. 为了配合目录的变化，平台对现有的搬运脚本以及预处理脚本均做了修改，并为了方便用户记忆，修改了之前繁琐的脚本名称及存放路径，修改后的脚本使用方法见后文的表格。
3. 应用户需求，平台开发了自动做motion correction的程序auto_motion.pl，在用户收数据时，就可以同时调用MotionCor2做global及local motion correction，用户可以直接利用结果数据，继续进行后续的数据处理。运行该程序时用户需要给出相应的参数，使用方法见后文表格注释3。自动motion correction的运行速度与用户设置的参数有关。
4. 由于运行不同的程序使用不同的预处理计算节点，为了方便用户记忆，在进行预处理的support PC上将收数据时使用的计算节点映射为如下名称：red，orange，yellow，green，blue，indigo，violet，purple。
预处理管理节点 映射为 rainbow。
在support PC上如登录预处理管理节点可以： ssh用户账户@rainbow
5. Titan收数据具体流程如下：
1), Titan1数据收集及预处理：
-
步骤
登录节点
账户
程序名
1，搬运
rainbow
preprocess
/home/script/odd_SerialEM.pl
2，实时预处理
red
用户账户
/home/script/Titan1/Titan1_k3_tif.pl
3，自动motion correction
green/violet
用户账户
/home/script/auto_motion.pl
注1：Titan1收数据运行自动motion correction，既可以使用green（4*P100卡），也可以使用violet（4*P40卡）节点。
2, Titan2数据收集及预处理：
-
步骤
登录节点
账户
程序名
1，搬运
rainbow
preprocess
/home/script/all_SerialEM.pl
2，实时预处理
orange
用户账户
/home/script/Titan2/Titan2_k2_tif.pl
3，自动motion correction
blue/purple
用户账户
/home/script/auto_motion.pl
注2：Titan2收数据运行自动motion correction，既可以使用blue（4*P100卡），也可以使用purple（4*P40卡）节点。
注3：运行自动motion correction的方法，以用户client，自定义文件夹20200731_lyh为例：
/home/script/auto_motion.pl -user client -dir 20200731_lyh -bin_num 2 -frames 40 -patch_x 7 -patch_y 5 -bft 250 -first_fr 2
注4: 该脚本实际调用MotionCor2时实际使用的参数与Relion里调用的保持一致，其余不需要用户输入的参数是事先保存在一个参数文件中，而该文件是用户在运行实时预处理脚本的时候生成的。调用MotionCor2时实际使用的参数选项如下：
MotionCor2 –InTiff -OutMrc -Gain -Bft -Kv -FmDose -PixSize -Group -FtBin -Throw -Trunc -FmRef -Mag -Gpu -UseGpus -Patch
注5: 用户在运行自动motion correction程序前，切记先登录一下选用的节点，使用命令ps au，查看上一个样品数据的处理进程(auto_motion.pl)是否结束，如果没有结束，则使用列表中的另一个节点。
6. 实时预处理之后的数据存放在/home/用户账户/EM_data/用户自定义目录/下。
自动motion correction之后的数据存放在/home/用户账户/EM_data/用户自定义目录/motion下。
数据同步到图信存储之后以相同的文件夹结构存放。
以用户账户client为例，如用户自定义目录为20200731_lyh，则收数据存放的文件夹结构图如下：
其中motion文件夹用来存放自动motion correction产生的结果数据。
运行完实时预处理及自动motion correction脚本之后，预处理存储上的数据存放示例以及文件说明见附件。
7. 以上收数据流程拟从9月1日开始，届时所有收数据的用户使用新的一套程序，之前存放在/home/data/Titan*/K*下面的数据请用户陆续转移到 用户家目录下面（使用mv命令），同时请用户们趁此机会认真整理一下数据，清理一下垃圾数据及不需要的中间结果。转移时间限期一个月，确认所有用户数据转移之后平台将清理/home/data/Titan*/K*文件夹。
图2实时预处理之后的结果数据
附：自动motion correction之后的结果数据文件说明：
|
文件名 |
说明 |
|
abc |
以job_name为abc命名的文件，保存了每张图片的预处理信息 |
|
abc_*.tif |
原始图片 |
|
abc_*_CorrFFT.mrc |
corrected FFT image |
|
abc_*_CorrSum.mrc |
corrected sum image |
|
abc_*_ctf_avrot.txt |
CTFFIND的输出信息文件1 |
|
abc_*_ctf.mrc |
Ctf矫正后的图片 |
|
abc_*_ctf.txt |
CTFFIND的输出信息文件2 |
|
abc_*_fitFFT.mrc |
uncorrected FFT image |
|
abc_*_imod_Log.txt |
保存了每一帧shift 信息，调用dosef_logviewer时读取 |
|
abc_*_gSumCorr_DW.mrc |
dose weighted sum image |
|
abc_*_gSumCorr_DWS.mrc |
dose-weight selected image：sum of frames that fall within a specified dose range |
|
abc_*_gSumCorr.mrc |
MotionCor2处理之后的结果文件 |
|
abc_*.log |
处理日志文件 |
|
abc_*_SumCorr.ctf.para |
保存ctf估计的参数 |
|
abc_stigma |
保存像散相关信息 |
|
abc_TEMstigma |
保存电镜像散参数 |
|
distortion parameter |
保存用于distortion矫正的参数 |
|
gain_8bit.mrc |
转化为mrc格式的gain文件 |
|
motion_parameter |
保存实时预处理参数的文件 |
|
mv_log |
记录预处理脚本运行的所有输出信息 |
|
process.log |
实时预处理的log文件，保存了脚本输出信息及ctf估计以及motion correction的具体信息 |
|
SuperRef*.dm4 |
收数据时的gain文件 |