Commit 057b54fe authored by Didier Cadiou's avatar Didier Cadiou
Browse files

Addition of 'error' string detection. Addition of other typical known failures.

parent ed5a4fa2

import_into_DB.sh

+17 −11
Original line number Diff line number Diff line
@@ -55,11 +55,11 @@ d=$(ls -l $f | cut -d ' ' -f 6,7,8) 
#

# 5. insertion du nom de fichier de log et de sa date en début de ligne (sed "s/^...) afin d'avoir 2 colonnes supplémentaires 

# 6. ajout de colonnes vides en fin de ligne

egrep '(Execute.* task:|^....started|Exception|used.*second|^Scheduled task|^Adhoc task)' $f | \

egrep '(Execute.* task:|^....started|Exception|[Ee]rror|used.*second|^Scheduled task|^Adhoc task)' $f | \

tr '\n' ';' | \

sed 's/Execute /\n/g' | \

sed '1d' | \

awk -F';' '{pb=""} tolower($0)~/exception/ {pb=$3} {print $1";"$2";"pb";"$(NF-2)";"$(NF-1)}' | \

awk -F';' '{pb=""} tolower($0)~/(error|exception)/ {pb=$3} {print $1";"$2";"pb";"$(NF-2)";"$(NF-1)}' | \

sed "s/^/$f;$d;/" | \

sed "s/\$/;;;;;;;/"  >> $CSV

echo >> $CSV
@@ -95,7 +95,7 @@ create table tasks( 
	stopped text,

	duration text,

	failed text,

	exception text);

	has_error text);

.import $CSV tasks



-- type
@@ -106,7 +106,6 @@ update tasks 
set type = 'adhoc'

where ligne1 like 'adhoc%';



-- rq

-- classname

update tasks 

set classname = trim(
@@ -150,12 +149,13 @@ update tasks 
set failed = 1

where ligne5 like '%task failed:%';



-- exception

-- has_error

update tasks 

set exception = 0;

set has_error = 0;

update tasks

set exception = 1

where ligne3 like '%Exception%';

set has_error = 1

where ligne3 like '%Exception%'

	or lower(ligne3) like '%error%';





.exit
@@ -216,7 +216,13 @@ insert into known_failures (composant, name, filtre) values 
	('système de fichiers', 'droits pool fichiers', '%Impossible de créer les dossiers du pool de fichiers locaux. Veuillez vérifier les droits%'),

	('base de données', 'erreur lecture', '%Erreur de lecture de la base de données%'),

	(null, 'course could not be deleted', '%Erreur de programmation détectée. Ceci doit être corrigé par un programmeur : The course module%could not be deleted%'),

	(null, 'Id module invalide', '%Identifiant de module de cours non valide%')

	(null, 'Id module invalide', '%Identifiant de module de cours non valide%'),

	(null, 'courses do not exist', '%following courses do not exist%'),

	(null, 'could not load/find the RSS feed', '%could not load/find the RSS feed%'),

	(null, 'get_record() more than one record', '%get_record()%found more than one record%'),

	('compilatio', 'invalid compilatio response', '%invalid compilatio response received%'),

	(null, 'Error reading from the external enrolment', '%Error reading data from the external enrolment table%'),

	(null, 'encounters an error', '%encounters an error%')

;



-- Statistiques :
@@ -227,7 +233,7 @@ select t.date, 
  e.composant, 

  e.name, 

  sum(failed) as nbre_failed,

  sum(exception) as nbre_exception,

  sum(has_error) as nbre_error,

  a.sur

from tasks t -- les taches

  left join known_failures e
@@ -241,7 +247,7 @@ from tasks t -- les taches 
    on a.classname = t.classname 

    and a.date = t.date

group by t.date, t.classname, e.composant, e.name

having nbre_failed + nbre_exception > 0

having nbre_failed + nbre_error > 0

;