Changes between Initial Version and Version 1 of BIOS_UMCGFileStructure


Ignore:
Timestamp:
Sep 19, 2016 1:12:59 PM (9 years ago)
Author:
rick
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • BIOS_UMCGFileStructure

    v1 v1  
     1
     2== Data structure on the UMCG cluster ==
     3
     4
     5The BIOS group at the UMCG cluster can be found at [[BR]]
     6/groups/umcg-bios
     7
     8This is the general folder for all bios projects, which can only be accessed by members with permission to enter this group.
     9
     10The file structure in the BIOS group works as follows. For a full overview of the directories with their subdirectories (current on 02-12-2015), please view the tree file further down below.
     11
     12{{{
     13/prm02
     14PeRManent dirs: The group's directories for raw data and final results: this dir has a backup and only contains compressed files that are the result of processing or analysis and need to be kept safe.
     15
     16        /rawdata
     17        Storage of raw data
     18
     19        /projects
     20        Storage of essential results from projects
     21
     22        /users
     23        Storage of essential files from users
     24
     25
     26/tmp04
     27TeMPorary dirs: The group's large, fastest directories for (shared) temporary data. Data from this folder will be automatically removed after three months if it has not been used.
     28Ideally the essential data from this directory should be backed up to /prm02 every night.
     29
     30        /rawdata
     31        Raw data that can be used for analyses
     32
     33        /projects
     34        Directories for each project
     35
     36                /<project_name>
     37
     38                        /<version>
     39
     40                                /jobs
     41                                Directories with the pipeline output files and scripts for this project (in case the project uses a pipeline)
     42                                       
     43                                /results
     44                                Directories with results from this project
     45
     46        /users
     47        Directories where each user can run their analyses that are not in the form of a pipeline yet
     48
     49                /umcg-<user-ID>
     50               
     51}}}
     52
     53
     54When using this file system, please keep in mind that you will need to back up the essential files to {{{prm02}}} on a regular basis.
     55The {{{tmp04}}} directory will clear all files that have not been used for three months as a way to keep it tidy.
     56
     57
     58
     59== Full Tree Structure of File System ==
     60
     61This version is current on 02-12-2015
     62
     63{{{
     64
     65/groups/umcg-bios/
     66|-- prm02
     67|   |-- projects
     68|   |   |-- annotations
     69|   |   |-- eQTLmapping
     70|   |   |   |-- BIOS
     71|   |   |   |   |-- exon_level
     72|   |   |   |   `-- gene_level
     73|   |   |   |-- Geuvadis
     74|   |   |   |   |-- gene_level
     75|   |   |   |   |   |-- eQTLs_meta_20PCs
     76|   |   |   |   |   |   `-- old_wrong_gte
     77|   |   |   |   |   |       |-- plots
     78|   |   |   |   |   |       `-- plots_opposite_effects_replication_bbmri
     79|   |   |   |   |   |           `-- plots [error opening dir]
     80|   |   |   |   |   |-- eQTLs_meta_20PCs_replication_bbmri_genelevel
     81|   |   |   |   |   |   `-- old_wrong_gte
     82|   |   |   |   |   |-- eQTLs_meta_20PCs_secondary_effects
     83|   |   |   |   |   |   |-- distance_to_TSS
     84|   |   |   |   |   |   |-- expressionWithPrimaryEffectsRegressedOut
     85|   |   |   |   |   |   |-- geuvadis_eQTLs_meta_20PCs_1-0_RegressedOut_15012015
     86|   |   |   |   |   |   |-- geuvadis_eQTLs_meta_20PCs_1-1_RegressedOut_15012015
     87|   |   |   |   |   |   |-- geuvadis_eQTLs_meta_20PCs_1-2_RegressedOut_15012015
     88|   |   |   |   |   |   |-- geuvadis_eQTLs_meta_20PCs_1-3_RegressedOut_15012015
     89|   |   |   |   |   |   `-- geuvadis_eQTLs_meta_20PCs_1-4_RegressedOut_15012015
     90|   |   |   |   |   `-- replicationOfBiosAllLevels
     91|   |   |   |   `-- meta-exon_level
     92|   |   |   |       |-- eQTLs_meta_20PCs
     93|   |   |   |       |   `-- old_gte
     94|   |   |   |       `-- eQTLs_meta_20PCs_bbmri_replication
     95|   |   |   |           `-- old_gtes
     96|   |   |   |-- geuvadis_gene_replication_in_bbmri_oldGte
     97|   |   |   `-- GoShifter_annotation
     98|   |   |       |-- compute-pipeline
     99|   |   |       |   |-- protocols
     100|   |   |       |   `-- templates
     101|   |   |       `-- LL+RS+CODAM+LLS_eqtls_genes_23062014
     102|   |   |           |-- differenceGeuvadis
     103|   |   |           |   |-- BIOS-Geuvadis
     104|   |   |           |   |   |-- notReplicated
     105|   |   |           |   |   |   |-- goshifter_output [error opening dir]
     106|   |   |           |   |   |   `-- scripts
     107|   |   |           |   |   |-- replicatedOpposite
     108|   |   |           |   |   |   |-- goshifter_output [error opening dir]
     109|   |   |           |   |   |   `-- scripts
     110|   |   |           |   |   `-- replicatedSame
     111|   |   |           |   |       |-- goshifter_output [error opening dir]
     112|   |   |           |   |       `-- scripts
     113|   |   |           |   |-- notReplicated
     114|   |   |           |   |   |-- goshifter_output [error opening dir]
     115|   |   |           |   |   `-- scripts
     116|   |   |           |   |-- replicatedOpposite
     117|   |   |           |   |   |-- goshifter_output [error opening dir]
     118|   |   |           |   |   `-- scripts
     119|   |   |           |   `-- replicatedSame
     120|   |   |           |       |-- goshifter_output [error opening dir]
     121|   |   |           |       `-- scripts
     122|   |   |           |-- goshifter_output [error opening dir]
     123|   |   |           `-- LD
     124|   |   |-- expression
     125|   |   |   |-- BBMRI+Geuvadis_joint_normalization
     126|   |   |   |-- gene_level_additional
     127|   |   |   |-- Geuvadis
     128|   |   |   |   |-- EUR+YRI
     129|   |   |   |   |   `-- EUR+YRI_eQTLs_meta_25PCs
     130|   |   |   |   |-- gene_level
     131|   |   |   |   |-- interactionAnalysis
     132|   |   |   |   |-- meta-exon_level
     133|   |   |   |   `-- TriTyper
     134|   |   |   |       |-- CEU
     135|   |   |   |       |   `-- CEU.TMM.ProbesWithZeroVarianceRemoved.Log2Transformed.ProbesCentered.SamplesZTransformed
     136|   |   |   |       |-- FIN
     137|   |   |   |       |   `-- FIN.TMM.ProbesWithZeroVarianceRemoved.Log2Transformed.ProbesCentered.SamplesZTransformed
     138|   |   |   |       |-- GBR
     139|   |   |   |       |   `-- GBR.TMM.ProbesWithZeroVarianceRemoved.Log2Transformed.ProbesCentered.SamplesZTransformed
     140|   |   |   |       `-- TSI
     141|   |   |   |           `-- TSI.TMM.ProbesWithZeroVarianceRemoved.Log2Transformed.ProbesCentered.SamplesZTransformed
     142|   |   |   |-- meta-exon_level_additional
     143|   |   |   |-- per_cohort
     144|   |   |   |   `-- LL
     145|   |   |   `-- transcript_level_additional
     146|   |   |-- genotypes
     147|   |   |   |-- CODAM-imputed-20140306-TriTyper
     148|   |   |   |-- LL-imputed-20140306-TriTyper
     149|   |   |   |-- LLS-imputed-20140402-TriTyper
     150|   |   |   |-- NTR_AC-imputed-20140606-TriTyper
     151|   |   |   |-- NTR_Aff6-imputed-20140606-TriTyper
     152|   |   |   |-- PAN-imputed-20140306-TriTyper
     153|   |   |   |-- RNAseq_genotypes
     154|   |   |   |   |-- CODAM_SNVMix_TriTyper
     155|   |   |   |   |-- LL_SNVMix_TriTyper
     156|   |   |   |   `-- RS_SNVMix_TriTyper
     157|   |   |   `-- RS-imputed-20140306-TriTyper
     158|   |   |-- imputed
     159|   |   |   |-- CODAM
     160|   |   |   |   |-- genotypes
     161|   |   |   |   |   |-- b36
     162|   |   |   |   |   |-- b37
     163|   |   |   |   |   |   |-- old
     164|   |   |   |   |   |   `-- qc
     165|   |   |   |   |   `-- rawdata
     166|   |   |   |   `-- jobs
     167|   |   |   |-- NTR
     168|   |   |   |   |-- genotypes
     169|   |   |   |   |   |-- NTR_B37_AC_Epigen_CAUT
     170|   |   |   |   |   |   |-- b37
     171|   |   |   |   |   |   |   `-- backup
     172|   |   |   |   |   |   `-- rawdata
     173|   |   |   |   |   |-- NTR_B37_AC_Epigen_CX
     174|   |   |   |   |   |   `-- rawdata
     175|   |   |   |   |   `-- NTR_B37_Aff6_Epigen
     176|   |   |   |   |       |-- b37
     177|   |   |   |   |       |   `-- backup
     178|   |   |   |   |       `-- rawdata
     179|   |   |   |   `-- jobs
     180|   |   |   |-- PAN
     181|   |   |   |   |-- genotypes
     182|   |   |   |   |   |-- b37
     183|   |   |   |   |   |   |-- original
     184|   |   |   |   |   |   `-- qc
     185|   |   |   |   |   `-- rawdata
     186|   |   |   |   `-- jobs
     187|   |   |   `-- RS
     188|   |   |       |-- genotypes
     189|   |   |       |   |-- b36
     190|   |   |       |   |-- b37
     191|   |   |       |   `-- rawdata
     192|   |   |       `-- jobs
     193|   |   |-- interactionAnalysis
     194|   |   |   |-- BIOS
     195|   |   |   |   |-- biosInteractions8
     196|   |   |   |   |-- eQTLs_all_levels
     197|   |   |   |   `-- GWAS_eQTLs
     198|   |   |   |       |-- Body_mass_index
     199|   |   |   |       |-- Bone_mineral_density
     200|   |   |   |       |-- Celiac_disease
     201|   |   |   |       |-- Crohns_disease
     202|   |   |   |       |-- HDL_cholesterol
     203|   |   |   |       |-- Height
     204|   |   |   |       |-- Inflammatory_bowel_disease
     205|   |   |   |       |-- LDL_cholesterol
     206|   |   |   |       |-- Mean_platelet_volume
     207|   |   |   |       |-- Metabolic_traits
     208|   |   |   |       |-- Metabolite_levels
     209|   |   |   |       |-- Multiple_sclerosis
     210|   |   |   |       |-- Platelet_counts
     211|   |   |   |       |-- Prostate_cancer
     212|   |   |   |       |-- Psoriasis
     213|   |   |   |       |-- Red_blood_cell_traits
     214|   |   |   |       |-- Rheumatoid_arthritis
     215|   |   |   |       |-- Schizophrenia
     216|   |   |   |       |-- Total_cholesterol
     217|   |   |   |       |-- Triglycerides
     218|   |   |   |       |-- Type_1_diabetes
     219|   |   |   |       `-- Ulcerative_colitis
     220|   |   |   `-- Geuvadis
     221|   |   `-- oldImputations
     222|   |       |-- CODAM
     223|   |       |   `-- imputedGenotypeData
     224|   |       |-- LLS
     225|   |       |   `-- chunks
     226|   |       `-- Rotterdam
     227|   |           |-- Aligend
     228|   |           |-- imputation
     229|   |           |-- imputationTriTyper
     230|   |           |-- imputed
     231|   |           |-- mergedRs
     232|   |           |-- mergedRs1Rs2
     233|   |           |-- mergedRs1Rs2AligedToRs3
     234|   |           |-- phasing
     235|   |           |   `-- generatedScripts
     236|   |           |-- rs1
     237|   |           |-- rs2
     238|   |           `-- rs3
     239|   `-- rawdata
     240|       `-- rnaseq
     241|-- scr01 -> /local/groups/umcg-bios/scr01
     242|-- scr02 -> /local2/groups/umcg-bios/scr02
     243`-- tmp04
     244    |-- projects
     245    |   |-- bbmriSampleInfo
     246    |   |   `-- v2.1.1
     247    |   |-- biosDatabase
     248    |   |-- BIOS_RNA
     249    |   |   |-- batch0
     250    |   |   |   |-- jobs
     251    |   |   |   |   |-- genotypeCalling
     252    |   |   |   |   |-- QC
     253    |   |   |   |   `-- quantification
     254    |   |   |   `-- results
     255    |   |   |       |-- addOrReplaceReadGroups
     256    |   |   |       |-- baseQualityScoreRecalibration
     257    |   |   |       |-- collectMultipleMetrics_genotypeCalling
     258    |   |   |       |-- collectMultipleMetrics_QC
     259    |   |   |       |-- collectRnaSeqMetrics_genotypeCalling
     260    |   |   |       |-- collectRnaSeqMetrics_QC
     261    |   |   |       |-- covariateAnalysis
     262    |   |   |       |-- fastqc
     263    |   |   |       |-- filteredBam
     264    |   |   |       |-- flagStat
     265    |   |   |       |-- genotypeHarmonizer
     266    |   |   |       |-- haplotypeCaller
     267    |   |   |       |-- hisat
     268    |   |   |       |-- indelRealignment
     269    |   |   |       |-- kallisto
     270    |   |   |       |-- markDuplicates
     271    |   |   |       |-- mergeBams
     272    |   |   |       |-- sortedBam
     273    |   |   |       |-- splitAndTrim
     274    |   |   |       |-- unfilteredBam
     275    |   |   |       |-- unifiedGenotype
     276    |   |   |       |-- variantEval
     277    |   |   |       `-- verifyBamID
     278    |   |   `-- batch1
     279    |   |       |-- jobs
     280    |   |       |   |-- QC
     281    |   |       |   `-- quantification
     282    |   |       `-- results
     283    |   |           |-- collectMultipleMetrics_QC
     284    |   |           |-- collectRnaSeqMetrics_QC
     285    |   |           |-- fastqc
     286    |   |           |-- filteredBam
     287    |   |           |-- genotypeHarmonizer
     288    |   |           |-- hisat
     289    |   |           |-- kallisto
     290    |   |           |-- sortedBam
     291    |   |           |-- unfilteredBam
     292    |   |           |-- unifiedGenotype
     293    |   |           |-- variantEval
     294    |   |           `-- verifyBamID
     295    |   `-- genotypes
     296    |       |-- CODAM-imputed-20140306-TriTyper
     297    |       |-- LL-imputed-20140306-TriTyper
     298    |       |-- LLS-imputed-20140402-TriTyper
     299    |       |-- NTR_AC-imputed-20140606-TriTyper
     300    |       |-- NTR_Aff6-imputed-20140606-TriTyper
     301    |       |-- PAN-imputed-20140306-TriTyper
     302    |       |-- RNAseq_genotypes
     303    |       |   |-- CODAM_SNVMix_TriTyper
     304    |       |   |-- LL_SNVMix_TriTyper
     305    |       |   `-- RS_SNVMix_TriTyper
     306    |       `-- RS-imputed-20140306-TriTyper
     307    |-- rawdata
     308    |   `-- rnaseq
     309    `-- users
     310        |-- umcg-aclaringbould
     311        |   |-- abun1
     312        |   |-- abun2
     313        |   |-- abun3
     314        |   |-- bbmri_duplicates
     315        |   |-- eQTLpipeline
     316        |   |   |-- backup
     317        |   |   |-- cis
     318        |   |   |-- first_norm
     319        |   |   `-- mixupmapping
     320        |   |       |-- Cis-eQTLs
     321        |   |       |-- CODAM
     322        |   |       |   |-- Cis-eQTLs
     323        |   |       |   `-- MixupMapper
     324        |   |       |-- LL
     325        |   |       |   |-- Cis-eQTLs
     326        |   |       |   `-- MixupMapper
     327        |   |       |-- LLS
     328        |   |       |   |-- Cis-eQTLs
     329        |   |       |   `-- MixupMapper
     330        |   |       |-- NTR_AC
     331        |   |       |   |-- Cis-eQTLs
     332        |   |       |   `-- MixupMapper
     333        |   |       |-- NTR_Aff6
     334        |   |       |-- PAN
     335        |   |       |   |-- Cis-eQTLs
     336        |   |       |   `-- MixupMapper
     337        |   |       `-- RS
     338        |   |           |-- Cis-eQTLs
     339        |   |           `-- MixupMapper
     340        |   `-- scripts
     341        `-- umcg-ndeklein
     342            `-- samplesheets
     343
     344277 directories
     345
     346}}}