SQL Loader : Optimisation de chargement et commit

SQL Loader : Optimisation de chargement et commit - SQL/NoSQL - Programmation

Marsh Posté le 27-09-2013 à 17:17:49    

Bonjour à tous,
 
J'ai un pb avec SQLLoader. En effet, dans mon fichier .ctl j'ai défini un point de commit toutes les 10.000 lignes mais lors du traitement du fichier à intégrer, le commit se fait toutes les lignes. Du coup, le traitement est très long car je travaille sur un fichier de 26 millions de lignes.
 
Auriez-vous une solution à me proposer pour améliorer les performances de mon utilisation de SQL Loader ?
 
La table Oracle de stockage ne contient ni clé primaire ni index activé...
 
Voici le fichier .ctl
 

Code :
  1. OPTIONS (DIRECT=FALSE, ROWS=10000, ERRORS=100000)
  2. LOAD DATA INFILE 'DonneesMCO\rsa12.txt'
  3.      BADFILE     'FichiersLOG\BAD_rsa12_epur.bad'
  4.      DISCARDFILE 'FichiersLOG\DSC_rsa12_epur.dsc'
  5. TRUNCATE
  6. INTO TABLE GDS_FRANCE2012."ZZZ_MCORSA_EPUR"
  7. FIELDS terminated BY ";" OPTIONALLY ENCLOSED BY '"'
  8. TRAILING nullcols   
  9. (RSA_FINESS   position(01:09)       CHAR(9),
  10. RSA_NUMRSA   position(13:22)       INTEGER EXTERNAL(10),
  11. RSA_NBRUM    position(51:52)       INTEGER EXTERNAL(2),
  12. RSA_NBAUTPGV position(109:109)     INTEGER EXTERNAL(1),
  13. RSA_NBRDTH   position(131:131)     INTEGER EXTERNAL(1),
  14. RSA_NBDAS    position(215:218)     INTEGER EXTERNAL(4),
  15. RSA_NBACT    position(219:223)     INTEGER EXTERNAL(5),
  16. RSA_EPUR     position(224:2266100) CHAR)                 -- CLOB : taille actuelle maximale possible : 2.265.876


 
Voici un extrait de mon fichier .txt à plat

Code :
  1. 12078725421900020000011160021328Z04Z0001128Z04Z10101058   18 0520128  0030121000000     0599990000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  000000000030120787254  000000               
  2. 1207872542190002000002116002           1190Z00Z02401079   2xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                 
  3. 1207872542190002000003116002           1190Z00Z02401063   1xx032012xx 003099999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                 
  4. 1207872542190002000004116001           1190Z00Z02401049   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                 
  5. 12078725421900020000051160011328Z04Z0001128Z04Z10101080   28 0220128  0028124900000     14 D110000000099990 0000000000000000      0                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002812078725423000000               
  6. 1207872542190002000006116002           1190Z00Z02401054   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                 
  7. 12078725421900020000071160021328Z04Z0001128Z04Z10101060   18 0420128  0029121000000     12 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002912078725423000000               
  8. 1207872542190002000008116001           1190Z00Z02401068   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                 
  9. 1207872542190002000009116002           1190Z00Z02401078   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                 
  10. 1207872542190002000010116001           1190Z00Z02401054   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                 
  11. 12078725421900020000111160021328Z04Z0001128Z04Z10101075   18 0520128  0030121000000     13 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000003012078725423000000               
  12. 12078725421900020000121160021328Z04Z0001128Z04Z10101067   18 0520128  0030121000000     14 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000003012078725423000000               
  13. 1207872542190002000013116001           1190Z00Z02401076   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                 
  14. 1207872542190002000014116001           1190Z00Z02401083   1xx012012xx 003099999           99990000000099990 0000000000000000      0                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030                                 
  15. 12078725421900020000151160021328Z04Z0001128Z04Z10101075   18 0420128  0029121000000     13 D110000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  00000000002912078725423000000               
  16. 1207872542190002000016116002           1190Z00Z02401083   2xx042012xx 000799999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000007                                 
  17. 12078725421900020000171160021328Z04Z0001128Z04Z10101068   18 0420128  0029121000000     1399990000000099990 00000000000000000000000                      00000000000000000000000000000                  01Z491  N189  000000000Z491  N189  000000000029120787254  000000               
  18. 1207872542190002000018116002           1190Z00Z02401083   1xx042012xx 002999999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000029                                 
  19. 1207872542190002000019116002           1190Z00Z02401089   2xx032012xx 003099999           99990000000099990 00000000000000000000000                      00000000000000000000000000000                  01RSSABS      000000000RSSABS         000000030


 
Voici le fichier résultat de l'import avec SQL Loader

Code :
  1. SQL*Loader: Release 10.2.0.1.0 - Production on Mar. Sept. 24 13:53:54 2013
  3. Copyright (c) 1982, 2005, Oracle.  All rights reserved.
  5. Fichier de contrôle :   Import2012_AtihMCO_07RSA.ctl
  6. Fichier de données :      DonneesMCO\rsa12.txt
  7.   Fichier BAD :     FichiersLOG\BAD_rsa12.bad
  8.   Fichier DISCARD : FichiersLOG\DSC_rsa12.dsc
  9. (Allouer tous les rebuts)
  11. Nombre à charger : ALL
  12. Nombre à sauter: 0
  13. Erreurs permises: 100000
  14. Tableau de liens :     10000 lignes, maximum de 256000 octets
  15. Continuation :    aucune spécification
  16. Chemin utilisé:      Classique
  18. Table GDS_FRANCE2012."Z_MCORSA_EPUR", chargé à partir de chaque enregistrement physique.
  19. Option d'insertion en vigueur pour cette table : TRUNCATE
  20. option TRAILING NULLCOLS effective
  22.    Nom de colonne               Position   Long.  Séparat. Encadrem. Type de données
  23. ------------------------------ ---------- ----- ---- ---- ---------------------
  24. RSA_FINESS                            1:9     9   ;  O(" ) CHARACTER           
  25. RSA_NUMRSA                          13:22    10   ;  O(" ) CHARACTER           
  26. RSA_NBRUM                           51:52     2   ;  O(" ) CHARACTER           
  27. RSA_NBAUTPGV                      109:109     1   ;  O(" ) CHARACTER           
  28. RSA_NBRDTH                        131:131     1   ;  O(" ) CHARACTER           
  29. RSA_NBDAS                         215:218     4   ;  O(" ) CHARACTER           
  30. RSA_NBACT                         219:223     5   ;  O(" ) CHARACTER           
  31. RSA_EPUR                       224:2266100 *****   ;  O(" ) CHARACTER           
  32.     La longueur de champ maximale est 2265877
  34. la valeur utilisée pour le paramètre ROWS est passée de 10000 à 1
  36. Table GDS_FRANCE2012."Z_MCORSA_EPUR" :
  37.   Chargement réussi de 26658005 Lignes.
  38.   428 Lignes chargement impossible dû à des erreurs de données.
  39.   0 Lignes chargement impossible car échec de toutes les clauses WHEN.
  40.   0 Lignes chargement impossible car tous les champs étaient non renseignés.
  43. Espace affecté au tableau de liens :                2266344 octets(1 lignes)
  44. Octets de tampon de lecture : 1048576
  46. Nombre total d'enregistrements logiques ignorés :          0
  47. Nombre total d'enregistrements logiques lus :      26658433
  48. Nombre total d'enregistrements logiques rejetés :       428
  49. Nombre total d'enregistrements logiques mis au rebut :        0
  51. Le début de l'exécution a été effectué sur Mar. Sept. 24 13:53:54 2013
  52. La fin de l'exécution a été effectuée sur Mer. Sept. 25 17:41:07 2013
  54. Temps écoulé (ELAPSED) :     27:47:13.87
  55. Temps processeur (CPU) :    03:19:18.89


 
Merci beaucoup à tous pour votre aide.
MarieO
 

Reply

Marsh Posté le 27-09-2013 à 17:17:49   

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed