Planifier des sauvegardes de base de données Cloud SQL

Configurer votre environnement

Pour commencer, vous devez d'abord cloner le dépôt contenant les exemples de données. Vous devez ensuite configurer votre environnement et créer des rôles personnalisés disposant des autorisations nécessaires pour ce tutoriel.

Vous pouvez effectuer toutes les tâches de ce tutoriel dans Cloud Shell.

1. Clonez le dépôt contenant les exemples de données :

   git clone https://github.com/GoogleCloudPlatform/training-data-analyst.git
   

   Vous devez créer une base de données avec des enregistrements fictifs à l'aide des données du dépôt training-data-analyst.

2. Configurez les variables d'environnement suivantes :

   export PROJECT_ID=`gcloud config get-value project`
   export DEMO="sql-backup-tutorial"
   export BUCKET_NAME=${USER}-MySQL-$(date +%s)
   export SQL_INSTANCE="${DEMO}-sql"
   export GCF_NAME="${DEMO}-gcf"
   export PUBSUB_TOPIC="${DEMO}-topic"
   export SCHEDULER_JOB="${DEMO}-job"
   export SQL_ROLE="sqlBackupCreator"
   export STORAGE_ROLE="simpleStorageRole"
   export REGION="us-west2"
   

3. Créez deux rôles personnalisés qui ne disposent que des autorisations nécessaires pour ce tutoriel :

   gcloud iam roles create ${STORAGE_ROLE} --project ${PROJECT_ID} \
       --title "Simple Storage role" \
       --description "Grant permissions to view and create objects in Cloud Storage" \
       --permissions "storage.objects.create,storage.objects.get"
   

   gcloud iam roles create ${SQL_ROLE} --project ${PROJECT_ID} \
       --title "SQL Backup role" \
       --description "Grant permissions to backup data from a Cloud SQL instance" \
       --permissions "cloudsql.backupRuns.create"
   

   Ces rôles réduisent le champ d'application des accès aux comptes de service Cloud Functions et Cloud SQL, conformément au principe du moindre privilège.

Créer une instance Cloud SQL

Dans cette section, vous allez créer un bucket Cloud Storage et une instance Cloud SQL pour MySQL. Vous transférerez ensuite la base de données de test dans le bucket Cloud Storage et l'importerez dans l'instance Cloud SQL.

Créer un bucket Cloud Storage

Vous créez un bucket Cloud Storage à l'aide de l'outil de ligne de commande gsutil.

```sh
gsutil mb -l ${REGION} gs://${BUCKET_NAME}
```

Créer une instance Cloud SQL et octroyer des autorisations à son compte de service

Créez ensuite une instance Cloud SQL et attribuez à son compte de service les autorisations nécessaires pour créer des exécutions de sauvegarde.

1. Créez une instance Cloud SQL pour MySQL :

   sh gcloud sql instances create ${SQL_INSTANCE} --database-version MYSQL_5_7 --region ${REGION}

   Cette opération prend quelques minutes.

2. Vérifiez que l'instance Cloud SQL est en cours d'exécution :

   gcloud sql instances list --filter name=${SQL_INSTANCE}
   

   La sortie ressemble à ceci :

   NAME                     DATABASE_VERSION  LOCATION    TIER              PRIMARY_ADDRESS  PRIVATE_ADDRESS  STATUS
   sql-backup-tutorial      MYSQL_5_7         us-west2-b  db-n1-standard-1  x.x.x.x     -                RUNNABLE
   

3. Accordez à votre compte de service Cloud SQL les autorisations nécessaires pour exporter des données vers Cloud Storage avec le rôle Simple Storage :

   export SQL_SA=(`gcloud sql instances describe ${SQL_INSTANCE} \
       --project ${PROJECT_ID} \
       --format "value(serviceAccountEmailAddress)"`)
   
   gsutil iam ch serviceAccount:${SQL_SA}:projects/${PROJECT_ID}/roles/${STORAGE_ROLE} gs://${BUCKET_NAME}
   

Remplir une instance Cloud SQL avec des exemples de données

Vous pouvez à présent importer des fichiers dans votre bucket, puis créer votre exemple de base de données et le remplir.

1. Accédez au dépôt que vous avez cloné :

   cd training-data-analyst/CPB100/lab3a/cloudsql
   

2. Importez les fichiers du répertoire dans votre nouveau bucket :

   gsutil cp * gs://${BUCKET_NAME}
   

3. Créer un exemple de base de données. À la question "Do you want to continue (Y/n)?" (Voulez-vous continuer (O/N) ?), saisissez "Y" (Oui) pour continuer.

   gcloud sql import sql ${SQL_INSTANCE} gs://${BUCKET_NAME}/table_creation.sql --project ${PROJECT_ID}
   

4. Remplissez la base de données. À la question "Do you want to continue (Y/n)?" (Voulez-vous continuer (O/N) ?), saisissez "Y" (Oui) pour continuer.

   gcloud sql import csv ${SQL_INSTANCE} gs://${BUCKET_NAME}/accommodation.csv \
       --database recommendation_spark \
       --table Accommodation
   

   gcloud sql import csv ${SQL_INSTANCE} gs://${BUCKET_NAME}/rating.csv \
       --database recommendation_spark \
       --table Rating
   

Créer un sujet, une fonction et une tâche Cloud Scheduler

Dans cette section, vous allez créer un compte de service IAM personnalisé et le lier au rôle SQL personnalisé que vous avez créé dans la section Configurer votre environnement. Vous allez ensuite créer un sujet Pub/Sub et une fonction Cloud qui s'abonne au sujet puis utilise l'API Cloud SQL Admin pour lancer une sauvegarde. Enfin, vous allez créer une tâche Cloud Scheduler pour publier régulièrement un message dans le sujet Pub/Sub.

Créer un compte de service pour la fonction Cloud

La première étape consiste à créer un compte de service personnalisé et à le lier au rôle SQL personnalisé que vous avez créé dans la section Configurer votre environnement.

1. Créez un compte de service IAM à utiliser par la fonction Cloud :

   gcloud iam service-accounts create ${GCF_NAME} \
       --display-name "Service Account for GCF and SQL Admin API"
   

2. Accordez au compte de service Cloud Functions l'accès au rôle SQL personnalisé :

   gcloud projects add-iam-policy-binding ${PROJECT_ID} \
       --member="serviceAccount:${GCF_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" \
       --role="projects/${PROJECT_ID}/roles/${SQL_ROLE}"
   

Créer un sujet Pub/Sub

L'étape suivante consiste à créer un sujet Pub/Sub permettant de déclencher la fonction Cloud qui interagit avec la base de données Cloud SQL.

```sh
gcloud pubsub topics create ${PUBSUB_TOPIC}
```

Créer une fonction Cloud

Créez à présent la fonction Cloud.

1. Créez un fichier main.py en collant le contenu suivant dans Cloud Shell :

   cat <<EOF > main.py
   
   import base64
   import logging
   import json
   
   from datetime import datetime
   from httplib2 import Http
   
   from googleapiclient import discovery
   from googleapiclient.errors import HttpError
   from oauth2client.client import GoogleCredentials
   
   def main(event, context):
       pubsub_message = json.loads(base64.b64decode(event['data']).decode('utf-8'))
       credentials = GoogleCredentials.get_application_default()
   
       service = discovery.build('sqladmin', 'v1beta4', http=credentials.authorize(Http()), cache_discovery=False)
   
       try:
         request = service.backupRuns().insert(
               project=pubsub_message['project'],
               instance=pubsub_message['instance']
           )
         response = request.execute()
       except HttpError as err:
           logging.error("Could NOT run backup. Reason: {}".format(err))
       else:
         logging.info("Backup task status: {}".format(response))
   EOF
   

2. Créez un fichier requirements.txt en collant le contenu suivant dans Cloud Shell :

   cat <<EOF > requirements.txt
   google-api-python-client
   Oauth2client
   EOF
   

3. Déployez le code :

   gcloud functions deploy ${GCF_NAME} \
       --trigger-topic ${PUBSUB_TOPIC} \
       --runtime python37 \
       --entry-point main \
       --service-account ${GCF_NAME}@${PROJECT_ID}.iam.gserviceaccount.com
   

Créer une tâche Cloud Scheduler

Enfin, créez une tâche Cloud Scheduler pour déclencher périodiquement la fonction de sauvegarde de données. Cloud Scheduler utilise une instance App Engine pour le déploiement.

1. Créez une instance App Engine pour la tâche Cloud Scheduler :

   gcloud app create --region=${REGION}
   

2. Créez une tâche Cloud Scheduler :

   gcloud scheduler jobs create pubsub ${SCHEDULER_JOB} \
   --schedule "0 * * * *" \
   --topic ${PUBSUB_TOPIC} \
   --message-body '{"instance":'\"${SQL_INSTANCE}\"',"project":'\"${PROJECT_ID}\"'}' \
   --time-zone 'America/Los_Angeles'
   

Tester votre solution

La dernière étape consiste à tester votre solution. Commencez par exécuter la tâche Cloud Scheduler.

1. Exécutez la tâche Cloud Scheduler manuellement afin de déclencher un vidage MySQL de votre base de données.

   gcloud scheduler jobs run ${SCHEDULER_JOB}
   

2. Répertoriez les opérations effectuées sur l'instance MySQL et vérifiez s'il existe une opération de type BACKUP_VOLUME :

   gcloud sql operations list --instance ${SQL_INSTANCE} --limit 1
   

   Le résultat affiche une tâche de sauvegarde terminée. Par exemple :

   NAME                                  TYPE           START                          END                            ERROR  STATUS
   8b031f0b-9d66-47fc-ba21-67dc20193749  BACKUP_VOLUME  2020-02-06T21:55:22.240+00:00  2020-02-06T21:55:32.614+00:00  -      DONE