Skip to content

Changes

Page history
Update home authored by Albanne Lecointre's avatar Albanne Lecointre
Show whitespace changes
Inline Side-by-side
home.md
View page @ b61ced67
......@@ -32,3 +32,163 @@ La location de volumétrie summer ayant pris fin en mars 2025, ces données ont
-> "gratuit" et limité à 100TB/user
En mars-avril 2025, les données ont été déplacées ainsi :
```
# en ssh_tmux sur cargo
lecoinal@mantis-cargo:/summer$ iput -v -N 0 -r /summer/japon /mantis/home/lecoinal/summer_japon -R backup
[...]
BO.YMZ..BHZ.D.2011.213.gz 1.438 MB | 0.259 sec | 0 thr | 5.550 MB/s
BO.YMZ..BHZ.D.2011.214.gz 1.361 MB | 0.310 sec | 0 thr | 4.393 MB/s
C- /mantis/home/lecoinal/summer_japon/japon/0-USAGE:
Usage-2025.02.21-12H00.tx 0.001 MB | 0.199 sec | 0 thr | 0.003 MB/s
Usage-2025.01.24-12H00.tx 0.001 MB | 0.184 sec | 0 thr | 0.003 MB/s
Usage-2025.01.31-12H00.tx 0.001 MB | 0.186 sec | 0 thr | 0.003 MB/s
Usage-2025.02.07-12H00.tx 0.001 MB | 0.168 sec | 0 thr | 0.003 MB/s
Usage-2025.02.14-12H00.tx 0.001 MB | 0.183 sec | 0 thr | 0.003 MB/s
Usage-2025.02.28-12H00.tx 0.001 MB | 0.182 sec | 0 thr | 0.003 MB/s
Usage-2025.03.07-12H00.tx 0.001 MB | 0.193 sec | 0 thr | 0.003 MB/s
Usage-2025.03.14-12H00.tx 0.001 MB | 0.187 sec | 0 thr | 0.003 MB/s
Usage-2025.03.21-12H00.tx 0.001 MB | 0.202 sec | 0 thr | 0.003 MB/s
METADATA_HINET.tgz 119.252 MB | 1.332 sec | 0 thr | 89.508 MB/s
irodssummer.logout 1.084 MB | 0.292 sec | 0 thr | 3.709 MB/s
irodssummer.logerr 0.118 MB | 0.199 sec | 0 thr | 0.596 MB/s
ils_RAW_MSEED_DAILY_TAR.t 0.096 MB | 0.210 sec | 0 thr | 0.459 MB/s
lecoinal@mantis-cargo:/summer$
```
Ensuite on interroge la base de données irods, pour comparaison avec `0-USAGE` de summer.
```
> iquest "SELECT SUM(DATA_SIZE), RESC_NAME WHERE COLL_NAME LIKE '/mantis/home/lecoinal/summer_japon%'"
DATA_SIZE = 72111664314606
RESC_NAME = nigel4-zfs
------------------------------------------------------------
DATA_SIZE = 72111664314606
RESC_NAME = nigel5-zfs
------------------------------------------------------------
> iquest "SELECT COUNT(DATA_ID) WHERE COLL_NAME LIKE '/mantis/home/lecoinal/summer_japon%'"
DATA_ID = 2829448
------------------------------------------------------------
>
```
```
> cat /summer/japon/0-USAGE/Usage-2025.03.28-12H00.txt
Disk Usage at 2025/03/28-22:31
Per Login Disk Usage Number of files
-----------------------------------------------
lecoinal 70.71 To 1414715
-----------------------------------------------
Per Group Disk Usage Number of files
-----------------------------------------------
f-ondes 62.29 To 1414194
l-isterre 8.41 To 521
-----------------------------------------------
-----------------------------------------------
Total disk usage : 70.71 To
Total number of files : 1414715
Total number of users : 1
Total number of groups : 2
-----------------------------------------------
```
Pour ce qui est du Total number of files, ca colle bien.
2829448 / 2 = 1414724 != 1414715
la différence provient de ces 9 fichiers Usage...txt qui n'étaient pas comptabilisé sur summer mais qui ont été copiés dans mantis.
```
> ls /summer/japon/0-USAGE/
Usage-2025.01.24-12H00.txt Usage-2025.02.14-12H00.txt Usage-2025.03.07-12H00.txt Usage-2025.03.28-12H00.txt
Usage-2025.01.31-12H00.txt Usage-2025.02.21-12H00.txt Usage-2025.03.14-12H00.txt
Usage-2025.02.07-12H00.txt Usage-2025.02.28-12H00.txt Usage-2025.03.21-12H00.txt
```
D'ailleurs aujourd'hui il y en a 10, mais c'est parce que le dernier `Usage-2025.03.28-12H00.txt` a été généré après que j'ai lancé la commande `iput`.
```
> ils /mantis/home/lecoinal/summer_japon/japon/0-USAGE
/mantis/home/lecoinal/summer_japon/japon/0-USAGE:
Usage-2025.01.24-12H00.txt
Usage-2025.01.31-12H00.txt
Usage-2025.02.07-12H00.txt
Usage-2025.02.14-12H00.txt
Usage-2025.02.21-12H00.txt
Usage-2025.02.28-12H00.txt
Usage-2025.03.07-12H00.txt
Usage-2025.03.14-12H00.txt
Usage-2025.03.21-12H00.txt
```
De toute façon, le répertoire /summer/japon n'évolue plus :
```
> diff /summer/japon/0-USAGE/Usage-2025.03.21-12H00.txt /summer/japon/0-USAGE/Usage-2025.03.28-12H00.txt
1c1
< Disk Usage at 2025/03/22-01:59
---
> Disk Usage at 2025/03/28-22:31
```
Mais pour la volumétrie, on ne s'y retrouve pas :
0-Usage mentionne 70.71 To
Or iquest indique sum(DATA_SIZE = 72111664314606)
72111664314606 / 1024**4 = 65.58517663
Ca ne peut pas être la même chose à l'octet près car cela va dépendre de la taille des blocs. Par exemple, cette différence peur, entre autres, provenir de petits fichiers, inférieur à 4 K, qui sont automatiquement comptabilisés comme 4K par 0-Usage@summer, mais pas par iquest@mantis ?
Pour comparer exhaustivement, il aurait fallu générer les checksum de chaque fichier et de les comparer une à une. Donc au moment de transférer avec irods, le faire avec -K et générer aussi les checksums de chaque fichier du répertoire summer.
Une version moins fastidieuse est de comparer la taille de chaque fichier au lieu du checksum. Normalement, la taille des fichiers, un par un, doit etre identique (à vérifier).
On vérifie donc.
```
> du -sbc /summer/japon/* > /bettik/lecoinal/summer_mantis/du_sbc_summerjapon.txt
> ils -rL /mantis/home/lecoinal/summer_japon/japon > /bettik/lecoinal/summer_mantis/ils_rL_mantisjapon.txt
> ls -Rl /summer/japon > /bettik/lecoinal/summer_mantis/ls_Rl_summerjapon.txt
> cat scr.sh
#!/bin/bash
set -e
grep "^-" ls_Rl_summerjapon.txt |awk '{print $5 "\t\t" $9}' > f1.txt
grep "0 backup" ils_rL_mantisjapon.txt |awk '{print $4 "\t\t" $7}' > f2.txt
wc -l f1.txt f2.txt
diff f1.txt f2.txt
> ./scr.sh
1414725 f1.txt
1414724 f2.txt
2829449 total
17d16
< 615 Usage-2025.03.28-12H00.txt
```
On retrouve donc bien l'unique fichier supplémentaire : le fichier usage.txt daté d'après le iput initial.
On conserve touttes ces infos de comparaison aussi dans mantis backup :
```
> iput -v -N 0 -r /bettik/lecoinal/summer_mantis /mantis/home/lecoinal/summer_japon/. -R backup
C- /mantis/home/lecoinal/summer_japon/summer_mantis:
f1.txt 50.649 MB | 5.854 sec | 0 thr | 8.652 MB/s
scr.sh 0.000 MB | 0.181 sec | 0 thr | 0.001 MB/s
ils_rL_mantisjapon.txt 721.473 MB | 8.394 sec | 0 thr | 85.948 MB/s
du_sbc_summerjapon.txt 0.000 MB | 0.183 sec | 0 thr | 0.002 MB/s
ls_Rl_summerjapon.txt 108.196 MB | 1.876 sec | 0 thr | 57.675 MB/s
f2.txt 50.649 MB | 0.943 sec | 0 thr | 53.684 MB/s
>
```


\ No newline at end of file