Import de données sous MySQL - SQL/NoSQL - Programmation
Marsh Posté le 29-01-2012 à 09:02:06
ce que tu cherches s'appelle un ETL ( Extract transform load ) : ces outils permettent de lire des données dans les fichiers excl, de les liées a des tables, des les transformer et de les réinjecter dans une autre table
par exemple talend
Marsh Posté le 30-01-2012 à 14:54:19
Merci.
J'avais déjà regardé TALEND mais cela me paraissait un peu lourd par rapport au besoin.
Je vais donc chercher du côté des ETL et voire si je trouve quelque chose de plus léger.
Bonne journée
Marsh Posté le 28-01-2012 à 21:39:15
Salut,
Existe-t-il une application ou un module intégrable dans une plateforme HTML afin d'importer des tables de données structurées (excel, txt, csv,...) dans une base MySQL.
Je bosse dans une boite de marketing direct qui recoit des fichiers clients (aux formats précisés plus haut)
Aujourd'hui, ces fichiers sont nettoyés, éventuellement concaténés en un seul fichier (cas de plusieurs fichiers différents) pour au final obtenir une liste propre qui sera utilisée pour créer des mailings ou des emails...
Ces fichiers sont ensuite conservés au format Excel...
Je voudrais modifier notre façon de faire et passer au modèle suivant :
- Reception des fichiers originaux.
- Transfert des fichiers "tels quels" sous forme de table dans une base MySQL "IMPORTS BRUTS" (idéalement ces tables seraient reliées à un couple CLIENT/DOSSIER qui serait sur deux tables ad-hoc)
- Exécution de différentes requêtes sur les tables brutes pour au final sortir une table finale, stockée dans une autre base MySQL "FINAL" (même remarque sur le couple CLIENT/DOSSIER)
C'est une idée mais on pourrait aussi envisager de tout stocker dans la même base et rajouter en plus du couple CLIENT/DOSSIER un champ état pour chaque table (IMPORT ou FINAL)...
Bref, ma question est de savoir s'il existe "prêt à l'emploi" une application ou une interface HTML qui permettra de :
- Charge le fichier reçu,
- Lui affecter les fameuses infos (CLIENT, DOSSIER et éventuellement ETAT) lues dans 3 tables alimentées par ailleurs (ex : module HTML de création de CLIENT et de DOSSIER)
- Et SURTOUT, écrire ce fichier sous forme de table dans ma base, ceci afin de pouvoir travailler sur ce fichier depuis une base MySQL et plus directement sous EXCEL.
Je précise que le fichier moyen reçu est un EXCEL de 3000 lignes et 10 colonnes.
A terme il s'agira de stocker (entre les tables importées et les tables finales) quelque chose comme 2000 à 5000 tables mais qui ne sera jamais ouvertes simultanément.
La limitation que je pourrais voire serait à priori plus une question de nombre de table et de données stockées que de capacité à ouvrir pleins de tables simultannement...
J'espère que mon explication n'est pas trop confuse et surtout que vous pourrez m'orienter dans mes recherches.
Merci d'avance,