Premiers pas avec Toolforge, la plateforme d'hébergement d'outils de Wikimédia

Premiers pas avec Toolforge,
la plateforme d'hébergement d'outils de Wikimédia

User:Arkanosis — WikiConvention francophone 2022

Public visé

Bot
Site web
Curiosité

Public visé

Création : toolsadmin.wikimedia.org/register
Demande d'accès : toolsadmin.wikimedia.org/tools/membership/apply
Notes : notes.wikimedia.fr/p/WikiConvFR22_toolforge

Toolhub

toolhub.wikimedia.org

Internet

Serveur

Client

Hébergeur

Cloud

Buzzword
… mais pas que

Cloud ?

Se débarrasser des préoccupations matérielles / physiques
Les transférer à un tiers

Différents modèles de cloud

SaaS (Software as a Service)
- ⇒ logiciel prêt à l'usage
DaaS (Data as a Service)
- ⇒ données prêtes à être manipulées
PaaS (Platform as a Service)
- ⇒ environnement prêt pour exécuter des logiciels
IaaS (Infrastructure as a Service)
- ⇒ ordinateur virtuel à configurer soi-même
…

Wikimedia Cloud Services

Wikimedia Cloud VPS : IaaS (OpenStack)
Wikimedia Toolforge : PaaS (Kubernetes)
PAWS : PaaS / DaaS (Jupyter)
Quarry : DaaS (SQL)

Conditions d'utilisation

Bénéficie au mouvement Wikimédia
Sous licence libre
Pas de données privées
Pas de spam
Pas de partage d'accès

Deux types d'outils

Services web
Jobs

Concepts

Compte développeur

Concepts

Compte développeur
Compte outil

Concepts

Compte développeur
Compte outil

Concepts

Compte développeur
Compte outil

Compte développeur

Création : toolsadmin.wikimedia.org/register
Demande d'accès : toolsadmin.wikimedia.org/tools/membership/apply
List des demandes : toolsadmin.wikimedia.org/tools/membership

Clef SSH

```
ssh-keygen -t ed25519
```
[[:wikitech:Special:Preferences#mw-prefsection-openstack]]
```
ssh $MON_COMPTE@login.toolforge.org
```

Compte outil

Création : toolsadmin.wikimedia.org
```
become $MON_OUTIL
```

Service web

```
mkdir public_html
```

echo 'Hello world!' > public_html/index.htm

```
webservice start
```
Test : $MON_OUTIL.toolforge.org

Service web


backend: kubernetes
cpu: 500m
mem: 200Mi
type: ruby25
extra_args:
 - /data/project/mon_outil
 - argument1
 - argument2

service.template (YAML)

```
webservice start
```

Job

toolforge-jobs run $MON_JOB --command $MA_COMMANDE --image tf-bullseye-std

```
toolforge-jobs list --long
```
k8s-status.toolforge.org/namespaces/tool-$MON_OUTIL/

Job


- name: mon_job
  mem: 1Gi
  command: >-
    dump=$(date '+%Y%m%d' -d 'two days ago') ;
    gunzip -c /public/dumps/public/frwiki/${dump}/frwiki-${dump}-stub-meta-history.xml.gz |
      wc -l > nombre_de_lignes_dans_le_dump_du_${dump}.txt
  image: tf-bullseye-std
  schedule: "0 0 3,22 * *"
  emails: all

jobs.yaml (YAML)

```
toolforge-jobs load jobs.yaml
```

Ressources Wikimédia

Dumps dans
```
/public/dumps/public
```
Réplicas de base de données avec
```
sql $MON_WIKI
sql frwiki # par exemple
```

Premiers pas avec Toolforge,
la plateforme d'hébergement d'outils de Wikimédia

Public visé

Public visé

Toolhub

Internet

Serveur

Hébergeur

Cloud

Cloud ?

Différents modèles de cloud

Wikimedia Cloud Services

Conditions d'utilisation

Deux types d'outils

Concepts

Concepts

Concepts

Concepts

Compte développeur

Clef SSH

Compte outil

Service web

Service web

Job

Job

Ressources Wikimédia

Publicité

== Voir aussi ==

~~~~

Premiers pas avec Toolforge,la plateforme d'hébergement d'outils de Wikimédia

Public visé

Public visé

Toolhub

Internet

Serveur

Hébergeur

Cloud

Cloud ?

Différents modèles de cloud

Wikimedia Cloud Services

Conditions d'utilisation

Deux types d'outils

Concepts

Concepts

Concepts

Concepts

Compte développeur

Clef SSH

Compte outil

Service web

Service web

Job

Job

Ressources Wikimédia

Publicité

== Voir aussi ==

~~~~

Premiers pas avec Toolforge,
la plateforme d'hébergement d'outils de Wikimédia