[UNIX/KSH] Tester l'existence de tables ! Erreur louche !

Marsh Posté le 12-05-2010 à 10:28:51

Bonjour à tous,

Désolé à l'avance de la tartine, mais ayant peur de m'être perdu dans le code j'en mets un grand bout pour qu'on y voit plus clair....

Contexte : tester l'existence de tables, listées dans un fichier plat, sur deux schémas de la même instance ORACLE. On ne connaît pas le nombre de tables à l'avance bien sûr, sinon c'est pas drôle.

Suite à ces tests, construire un fichier SQL prêt à être passé pour effectuer une comparaison ligne à ligne des tables homonymes sur les deux schémas (la requête est bien lourde, oui je sais, mais je n'ai pas le choix pour cette requête de comparaison : moi ce qui me tracasse ce sont les tests d'existence des tables)

J'ai un souci qui est revenu plusieurs fois auparavant et que je n'arrive pas à m'expliquer : je fais deux tests SQL en passant les commandes via une redirection de l'entrée standard ( lignes avec << EOF et << EOF1 ) la première semble passer nickel, mais la deuxième plante avec le message d'erreur suivant :

Code :

compare_liste_tables.ksh[157]: syntax error at line 187 : `<' unmatched

Si quelqu'un avaitune idée, ça me serait très utile, autant pour ma culture perso que pour mes pu**** de scripts !

Merci d'avance :jap: :jap: :jap:

Voilà le code avec quelques commentaires :

Code :

#!/bin/ksh
########################################################################################################
##         SCRIPT DE COMPARAISON MULTI-TABLES A PARTIR DE FICHIER *.lst
#####################################################################################################
# Variables
############
export script=$(basename ${0})
export liste=""
export instance=""
export schema1=""
export schema2=""
export erreur=0
export filelog=""
 
# Usage
########
function usage
{
    echo " Usage : [1;33m${script} <instance> <schema1> <schema2> <liste_table>[0m"
    echo
    echo "         [1m<instance>[0m = SSID Oracle du couloir"
    echo "         [1m<schema1>[0m = schema source (OC0000, OC0001, OC9001....)"
    echo "         [1m<schema2>[0m = schema cible (OC0000, OC0001, OC9001....)"
    echo "         [1m<liste_table>[0m = fichier local contenant la liste de table a comparer ( ! extension = lst )"
}
 
# Affichage d'une erreur + sortie 1
####################################
function print_err
{
    clear
    echo "[1;31m\n ! ${1} !\n[0m"
    usage
    exit 1
}
 
# Affichage message d'information
##################################
function print_info
{
    echo "\n `date '+%D %H:%M:%S'` ${script} : ${1}"
}
 
#######
# MAIN
#######
print_info "Tests des parametres et de la connexion"
echo "[\c"
 
# Test du nombre de paramètres
if [ ${#} -ne 4 ]
then
    print_err "Nombre de parametres incorrect"
fi
echo ".\c"
 
# Tests sur la liste de table
if [ -r ${4} ]
then
        # Test de l extension        
        if [ "`echo ${4} | awk -F. '{print $NF;}'`" != "lst" ]
        then
                print_err "Le fichier contenant la liste doit porter une extension '.lst'"
        fi
else
    print_err "Le 4eme parametre doit etre un fichier portant l'extension .lst"
fi
liste=${4}
echo ".\c"
 
# test de l'instance
if [ `tnsping ${1} >&-;echo $?` -ne 0 ]
then
    print_err "L'instance <${1}> n'existe pas"
fi
instance=${1}
echo ".\c"
 
# test du schéma 1
sqlplus -S /nolog << EOF
connect db_export/export@${instance}
set feedback off
set verify off
set heading off
whenever sqlerror exit 1
  variable ret_val number
  DECLARE
  BEGIN
  :ret_val := 0;
  if ('${2}' not in ('SYSTEM','SYS')) then
    if UTILS.DATAFOUND('DBA_USERS','USERNAME', '${2}') <> 1 then
      :ret_val:=1;
    END IF;
  END IF;
  END;
/
disconnect
exit :ret_val;
EOF
 
if [ "$?" != "0" ]
then
    print_err  "Le schema <${2}> n'existe pas dans l'instance ${1}"
fi
schema1=${2}
echo ".\c"
 
# test du schéma 2
sqlplus -S /nolog << EOF
connect db_export/export@${instance}
set feedback off
set verify off
set heading off
whenever sqlerror exit 1
  variable ret_val number
  DECLARE
  BEGIN
  :ret_val := 0;
  if ('${3}' not in ('SYSTEM','SYS')) then
    if UTILS.DATAFOUND('DBA_USERS','USERNAME', '${3}') <> 1 then
      :ret_val:=1;
    END IF;
  END IF;
  END;
/
disconnect
exit :ret_val;
EOF
 
if [ "$?" != "0" ]
then
    print_err  "Le schema <${3}> n'existe pas dans l'instance ${1}"
fi
schema2=${3}
echo ".] \c"
 
print_info "Tests OK"
 
# Creation fichier de logs et en tete
filelog="./ISWO_comparaison_${instance}_${schema1}_${schema2}_`echo ${3} | awk -F. '{print $1;}'`_`date +%Y%m%d%H%M%S`.log"
print_info "Fichier de log : <${filelog}>"
echo "### Comparaison enter les schemas <${schema1}> et <${schema2}> sur l'instance ${instance} ###" >> ${filelog}
echo "##################################################################################" >> ${filelog}
echo >> ${filelog}
print_info "Fichier contenant la liste des tables : <${liste}>" | tee -a ${filelog}
 
# Création du fichier SQL à passer
for tab in $( cat ${liste})
do
    # test de la présence de la table sur les deux instances.
sqlplus -S /nolog << EOF
connect db_export/export@${instance}
whenever sqlerror exit 1
set verify off
set serveroutput on
    variable ret_val number
    DECLARE
      ma_var integer;
    BEGIN
      :ret_val := 0;
      if ('${schema1}' not in ('SYSTEM','SYS')) then
        select CASE WHEN EXISTS(SELECT TABLE_NAME,owner FROM DBA_TABLES WHERE owner='${schema1}' AND TABLE_NAME='${tab}' )THEN 1 ELSE 0 END INTO ma_var FROM dual;
        IF ma_var <> 1 THEN
           :ret_val:=1;
        END IF ;
      END IF;
    END;
/
disconnect
exit :ret_val;
EOF
 
    if [ "$?" != "0" ]
    then
              print_info "La table <${tab}> n'existe pas sous le schema ${schema1}."
              erreur=$((${erreur}+1))
    else
sqlplus -S /nolog << EOF1
connect db_export/export@${instance}
whenever sqlerror exit 1
set verify off
set serveroutput on
    variable ret_val number
    DECLARE
      ma_var integer;
    BEGIN
      :ret_val := 0;
      if ('${schem2}' not in ('SYSTEM','SYS')) then
        select CASE WHEN EXISTS(SELECT TABLE_NAME,owner FROM DBA_TABLES WHERE owner='${schema2}' AND TABLE_NAME='${tab}' )THEN 1 ELSE 0 END INTO ma_var FROM dual;
        IF ma_var <> 1 THEN
           :ret_val:=1;
        END IF ;
      END IF;
    END;
/
disconnect
exit :ret_val;
EOF1        
        if [ "$?" != "0" ]
        then
                  print_info "La table <${tab}> n'existe pas sous le schema ${schema2}."
                  erreur=$((${erreur}+1))
        else
            # Si ok Rajout des lignes pour la comparaison de cette table sur les deux schemas
            echo "select * from" >> compare_tmp.sql
            echo "(" >> compare_tmp.sql
            echo "    select '${schema1}.${tab}' \"Row Source\", a.* from" >> compare_tmp.sql
            echo "    (" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl1)  */ *" >> compare_tmp.sql
            echo "        from   ${schema1}.${tab} Tbl1" >> compare_tmp.sql
            echo "        minus" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl2)  */ *" >> compare_tmp.sql
            echo "        from   ${schema2}.${tab} Tbl2" >> compare_tmp.sql
            echo "    ) A" >> compare_tmp.sql
            echo "    union all" >> compare_tmp.sql
            echo "    select '${schema2}.${tab}', b.* from" >> compare_tmp.sql
            echo "    (" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl2)  */ *" >> compare_tmp.sql
            echo "        from   ${schema2}.${tab}" >> compare_tmp.sql
            echo "        minus" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl1)  */ *" >> compare_tmp.sql
            echo "        from   ${schema1}.${tab}" >> compare_tmp.sql
            echo "    ) B" >> compare_tmp.sql
            echo " )" >> compare_tmp.sql
            echo "Order by 1 ;" >> compare_tmp.sql
            echo "UNION" >> compare_tmp.sql
        fi
    fi
done
 
if [ ${erreur} -ne 0 ]
then
    print_info "! Traitements KO : ${erreur} table(s) en erreur pendant la comparaison : voir les logs ci-dessus." | tee -a ${filelog}
    rm compare_tmp.sql 2>&-
    print_err "Traitements KO : erreur(s) dans la comparaison des tables. Voir le fichier de logs <${fic_res}>"
fi
 
# Ajustement fichier de comptage
sed '$d' compare_tmp.sql >> compare.sql
echo ";" >> compare.sql
rm compare_tmp.sql 2>&-
 
 
print_info "### Traitement termines : OK ###" | tee -a ${filelog}
exit 0

Message cité 1 fois
Message édité par Kerrozen le 12-05-2010 à 10:51:38

---------------
En programmation, quand t'as un problème et qu'il n'y a que deux solutions valides, seule la troisième fonctionne !

Marsh Posté le 12-05-2010 à 10:28:51

Marsh Posté le 12-05-2010 à 10:50:44

Bon, eh bien comme quoi ça aide de regarder son propre message : souvent on trouve le problème !

En fait lors de l'utilisation de la redirection de l'entrée standard, apparement on n'a pas le choix : il faut utiliser le mot clé 'EOF'

Là mon code plante avec le 'EOF1' lors du deuxième test d'existence de table, remplacé par 'EOF' ça passe !

Donc j'ai plus qu'à remercier mon moi-même et conseiller à mon premier moi de mieux se relire :heink: :??: :ouch:

En espérant que ça serve à quelqu'un d'autre.

See you soon !

---------------
En programmation, quand t'as un problème et qu'il n'y a que deux solutions valides, seule la troisième fonctionne !

Marsh Posté le 13-05-2010 à 21:38:18

Attention quand tu utilises des fichiers temporaires (style "compare_tmp.sql" ) car n'oublies pas que t'es en environnement multi-utilisateurs. A priori, rien n'interdit de lancer ton script plusieurs fois en parallèle. Mais il y aura grosse collision au niveau de ton fichier...

Déjà dans 80% des cas on peut éviter de créer un fichier temporaire. Mais si jamais on peut pas, alors toujours penser à lui mettre "$$" dans son nom. Ainsi, son nom sera associé au n° de pid qui est unique tant que le processus tourne.
Par ailleurs, t'as à ta disposition
/tmp
/var/tmp
$HOME/tmp
qui sont tous dédiés aux fichiers temporaires. Ca évitera de pourrir tous tes dossiers de fichiers résiduels inutiles...

Kerrozen a écrit :

Voilà le code avec quelques commentaires :

Code :

#!/bin/ksh
########################################################################################################
##         SCRIPT DE COMPARAISON MULTI-TABLES A PARTIR DE FICHIER *.lst
#####################################################################################################
# Variables
############
export script=$(basename ${0})
export liste=""
export instance=""
export schema1=""
export schema2=""
export erreur=0
export filelog=""

export n'est utile que si les variables exportées ont besoin d'être connues d'un script fils qui sera appelé par celui-là
Apparemment ton script n'en appelle pas d'autre donc pas besoin de charger la table d'export.

Kerrozen a écrit :

Code :

# Usage
########
function usage
{
    echo " Usage : [1;33m${script} <instance> <schema1> <schema2> <liste_table>[0m"
    echo
    echo "         [1m<instance>[0m = SSID Oracle du couloir"
    echo "         [1m<schema1>[0m = schema source (OC0000, OC0001, OC9001....)"
    echo "         [1m<schema2>[0m = schema cible (OC0000, OC0001, OC9001....)"
    echo "         [1m<liste_table>[0m = fichier local contenant la liste de table a comparer ( ! extension = lst )"
}
 
# Affichage d'une erreur + sortie 1
####################################
function print_err
{
    clear
    echo "[1;31m\n ! ${1} !\n[0m"
    usage
    exit 1
}
 
# Affichage message d'information
##################################
function print_info
{
    echo "\n `date '+%D %H:%M:%S'` ${script} : ${1}"
}
 
#######
# MAIN
#######
print_info "Tests des parametres et de la connexion"
echo "[\c"
 
# Test du nombre de paramètres
if [ ${#} -ne 4 ]
then
    print_err "Nombre de parametres incorrect"
fi
echo ".\c"

Dommage de tester égal/pas égal à 4. A priori, il en faut au-moins 4 donc c'est pas grave si le gus en entre 150. Seuls les 4 premiers seront utilisés et pis voila.

Kerrozen a écrit :

Code :

# Tests sur la liste de table
if [ -r ${4} ]
then
        # Test de l extension        
        if [ "`echo ${4} | awk -F. '{print $NF;}'`" != "lst" ]
        then
                print_err "Le fichier contenant la liste doit porter une extension '.lst'"
        fi
else
    print_err "Le 4eme parametre doit etre un fichier portant l'extension .lst"
fi
liste=${4}
echo ".\c"

Dommage d'appeler un aussi gros programme que awk pour extraire l'extension. echo $4 |cut -f2 -d. sera plus rapide...

Kerrozen a écrit :

Code :

# test de l'instance
if [ `tnsping ${1} >&-;echo $?` -ne 0 ]
then
    print_err "L'instance <${1}> n'existe pas"
fi
instance=${1}
echo ".\c"
 
# test du schéma 1
sqlplus -S /nolog << EOF
connect db_export/export@${instance}
set feedback off
set verify off
set heading off
whenever sqlerror exit 1
  variable ret_val number
  DECLARE
  BEGIN
  :ret_val := 0;
  if ('${2}' not in ('SYSTEM','SYS')) then
    if UTILS.DATAFOUND('DBA_USERS','USERNAME', '${2}') <> 1 then
      :ret_val:=1;
    END IF;
  END IF;
  END;
/
disconnect
exit :ret_val;
EOF
 
if [ "$?" != "0" ]

$? est une variable numérique => [ $? -eq 0 ]
A priori, il n'y a aucune différence. Sauf que c'est plus propre d'utiliser les bons outils au bon endroit.
En plus, [ "$?" = "00" ] ne marche pas mais [ $? -eq 00 ] fonctionnera...

Kerrozen a écrit :

Code :

then
    print_err  "Le schema <${2}> n'existe pas dans l'instance ${1}"
fi
schema1=${2}
echo ".\c"
 
# test du schéma 2
sqlplus -S /nolog << EOF
connect db_export/export@${instance}
set feedback off
set verify off
set heading off
whenever sqlerror exit 1
  variable ret_val number
  DECLARE
  BEGIN
  :ret_val := 0;
  if ('${3}' not in ('SYSTEM','SYS')) then
    if UTILS.DATAFOUND('DBA_USERS','USERNAME', '${3}') <> 1 then
      :ret_val:=1;
    END IF;
  END IF;
  END;
/
disconnect
exit :ret_val;
EOF
 
if [ "$?" != "0" ]
then
    print_err  "Le schema <${3}> n'existe pas dans l'instance ${1}"
fi
schema2=${3}
echo ".] \c"
 
print_info "Tests OK"
 
# Creation fichier de logs et en tete
filelog="./ISWO_comparaison_${instance}_${schema1}_${schema2}_`echo ${3} | awk -F. '{print $1;}'`_`date +%Y%m%d%H%M%S`.log"

T'aimes pas le cut toi hein ???

Kerrozen a écrit :

Code :

print_info "Fichier de log : <${filelog}>"
echo "### Comparaison enter les schemas <${schema1}> et <${schema2}> sur l'instance ${instance} ###" >> ${filelog}
echo "##################################################################################" >> ${filelog}
echo >> ${filelog}
print_info "Fichier contenant la liste des tables : <${liste}>" | tee -a ${filelog}
 
# Création du fichier SQL à passer
for tab in $( cat ${liste})
do
    # test de la présence de la table sur les deux instances.
sqlplus -S /nolog << EOF
connect db_export/export@${instance}
whenever sqlerror exit 1
set verify off
set serveroutput on
    variable ret_val number
    DECLARE
      ma_var integer;
    BEGIN
      :ret_val := 0;
      if ('${schema1}' not in ('SYSTEM','SYS')) then
        select CASE WHEN EXISTS(SELECT TABLE_NAME,owner FROM DBA_TABLES WHERE owner='${schema1}' AND TABLE_NAME='${tab}' )THEN 1 ELSE 0 END INTO ma_var FROM dual;
        IF ma_var <> 1 THEN
           :ret_val:=1;
        END IF ;
      END IF;
    END;
/
disconnect
exit :ret_val;
EOF
 
    if [ "$?" != "0" ]
    then
              print_info "La table <${tab}> n'existe pas sous le schema ${schema1}."
              erreur=$((${erreur}+1))
    else
sqlplus -S /nolog << EOF1
connect db_export/export@${instance}
whenever sqlerror exit 1
set verify off
set serveroutput on
    variable ret_val number
    DECLARE
      ma_var integer;
    BEGIN
      :ret_val := 0;
      if ('${schem2}' not in ('SYSTEM','SYS')) then
        select CASE WHEN EXISTS(SELECT TABLE_NAME,owner FROM DBA_TABLES WHERE owner='${schema2}' AND TABLE_NAME='${tab}' )THEN 1 ELSE 0 END INTO ma_var FROM dual;
        IF ma_var <> 1 THEN
           :ret_val:=1;
        END IF ;
      END IF;
    END;
/
disconnect
exit :ret_val;
EOF1        
        if [ "$?" != "0" ]
        then
                  print_info "La table <${tab}> n'existe pas sous le schema ${schema2}."
                  erreur=$((${erreur}+1))
        else
            # Si ok Rajout des lignes pour la comparaison de cette table sur les deux schemas
            echo "select * from" >> compare_tmp.sql
            echo "(" >> compare_tmp.sql
            echo "    select '${schema1}.${tab}' \"Row Source\", a.* from" >> compare_tmp.sql
            echo "    (" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl1)  */ *" >> compare_tmp.sql
            echo "        from   ${schema1}.${tab} Tbl1" >> compare_tmp.sql
            echo "        minus" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl2)  */ *" >> compare_tmp.sql
            echo "        from   ${schema2}.${tab} Tbl2" >> compare_tmp.sql
            echo "    ) A" >> compare_tmp.sql
            echo "    union all" >> compare_tmp.sql
            echo "    select '${schema2}.${tab}', b.* from" >> compare_tmp.sql
            echo "    (" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl2)  */ *" >> compare_tmp.sql
            echo "        from   ${schema2}.${tab}" >> compare_tmp.sql
            echo "        minus" >> compare_tmp.sql
            echo "        select /*+ FULL(Tbl1)  */ *" >> compare_tmp.sql
            echo "        from   ${schema1}.${tab}" >> compare_tmp.sql
            echo "    ) B" >> compare_tmp.sql
            echo " )" >> compare_tmp.sql
            echo "Order by 1 ;" >> compare_tmp.sql
            echo "UNION" >> compare_tmp.sql

Ouch tous ces echo redirigés !!!
T'as quand-même des outils plus sympa pour ce genre de truc
Exemple 1

Code :

(
    echo truc
    echo truc 2
    echo truc 3
) > compare_tmp.sql

Exemple 2

Code :

cat << _EOT_ > compare_tmp.sql
truc
truc1
truc2
_EOT_

Kerrozen a écrit :

Code :

fi
    fi
done
 
if [ ${erreur} -ne 0 ]
then
    print_info "! Traitements KO : ${erreur} table(s) en erreur pendant la comparaison : voir les logs ci-dessus." | tee -a ${filelog}
    rm compare_tmp.sql 2>&-
    print_err "Traitements KO : erreur(s) dans la comparaison des tables. Voir le fichier de logs <${fic_res}>"
fi
 
#
# Ajustement fichier de comptage
#
sed '$d' compare_tmp.sql >> compare.sql
echo ";" >> compare.sql
rm compare_tmp.sql 2>&-

Dommage d'avoir créé un fichier "compare_tmp.sql" pour le recopier en final dans "compare.sql"

Exemple qui évite deux fichiers là où un seul suffirait...

Code :

...
... création et remplissage du fichier compare.sql ...
...
echo ";" >> compare.sql     # Le point-virgule final
 
# Filtre de "compare.sql" dans lui-même
exec 3<compare.sql
rm -f compare.sql
sed '$d' 0<&3 >compare.sql
# Et voilà - En créant un canal associé à "compare.sql", on peut le supprimer il reste en mémoire. Ensuite il n'y a plus qu'à lire le canal 3 et le rediriger dans... compare.sql

Kerrozen a écrit :

Code :

print_info "### Traitement termines : OK ###" | tee -a ${filelog}
exit 0

Message édité par Sve@r le 13-05-2010 à 22:01:45

---------------
Vous ne pouvez pas apporter la prospérité au pauvre en la retirant au riche.

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed

Name *

Email *

URL

Message *

[UNIX/KSH] Tester l'existence de tables ! Erreur louche ! - RESOLU -

Sujets relatifs:

Leave a Replay