BUT3-SD (BIGDATA)/TP/commandes_hive.txt

+Nous allons utiliser des commandes Hive pour analyser le fichier CSV de ventes.
+
+1. Création d'une table Hive :
+
+CREATE TABLE IF NOT EXISTS ventes (
+  agence STRING,
+  categorie STRING,
+  montant DOUBLE)
+ROW FORMAT DELIMITED
+FIELDS TERMINATED BY ','
+STORED AS TEXTFILE;
+Cette commande crée une table ventes avec les colonnes appropriées.
+
+2. Chargement des données dans la table :
+
+LOAD DATA LOCAL INPATH '/tmp/ventesf.csv' INTO TABLE ventes;
+Cette commande charge les données du fichier CSV dans la table Hive.
+
+3. Requête pour calculer le total des ventes par catégorie :
+
+SELECT categorie, SUM(montant) AS total_ventes
+FROM ventes
+GROUP BY categorie;
+Cette requête calcule le total des ventes pour chaque catégorie.
+
+4. Requête pour obtenir les ventes moyennes par catégorie :
+
+SELECT categorie, AVG(montant) AS moyenne_ventes
+FROM ventes
+GROUP BY categorie;
+Cette requête calcule la moyenne des ventes pour chaque catégorie.
+
+5. Requête pour trier les catégories par ventes totales :
+
+SELECT categorie, SUM(montant) AS total_ventes
+FROM ventes
+GROUP BY categorie
+ORDER BY total_ventes DESC;
+Cette requête classe les catégories en fonction de leur volume total de ventes.
+
+6. Requête pour les ventes par agence :
+
+SELECT agence, SUM(montant) AS total_ventes
+FROM ventes
+GROUP BY agence;
+Cette requête calcule le total des ventes pour chaque agence.
+
+Ces commandes permettent de réaliser des analyses de base sur tes données de ventes. 
+
+Il est possible de comparer les résultats fournis avec ceux de PIG LATIN.

BUT3-SD (BIGDATA)/TP/commandes_pig.txt

+Nous allons utiliser le langage PIG LATIN pour réaliser des analyses de ventes.
+
+1. Chargement des données :
+
+sales = LOAD '/tmp/ventesf.csv' USING PigStorage(',') AS (agence:chararray, categorie:chararray, montant:double);
+Cette commande charge le fichier CSV en spécifiant les colonnes et leurs types.
+
+2. Grouper les données par catégorie :
+
+groupByCategory = GROUP sales BY categorie;
+Cela permet de regrouper les données par catégorie pour des analyses ultérieures.
+
+3. Calculer le total des ventes par catégorie :
+
+salesByCategory = FOREACH groupByCategory GENERATE group AS categorie, SUM(sales.montant) AS totalVentes;
+Ici, on calcule le total des ventes pour chaque catégorie.
+
+4. Trier les catégories par ventes totales :
+
+sortedSales = ORDER salesByCategory BY totalVentes DESC;
+Cette commande trie les catégories en fonction de leur volume total de ventes.
+
+5. Afficher les résultats :
+
+DUMP sortedSales;
+Cette commande affiche les résultats.
+
+6. Stockage des résultats :
+
+STORE sortedSales INTO '/tmp/ventesf_res.txt' USING PigStorage(',');
+Utile pour stocker les résultats dans un fichier.

BUT3-SD (BIGDATA)/TP/pfile.sh

+#!/bin/bash
+
+split -l 200000 organizations.csv p_
+
+for file in p_*
+do
+   awk -F, 'BEGIN {OFS=","} NR>=1 {n = $9; print $0, (n < 3000 ? "A" : "B")}' $file > "$file"_processed.csv &
+done
+wait
+
+cat p_*_processed.csv > monfichier_final.csv
+
+

BUT3-SD (BIGDATA)/TP/ventesf.csv

+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
+pointdevente1,Hifi,450.05
+pointdevente2,Vêtements,553.84
+pointdevente3,Musique,48.06
+pointdevente1,vhommes,463.23
+pointdevente2,vfemmes,785.13
\ No newline at end of file