Hadoop en 5 questions Quel est le principe de fonctionnement de cette infrastructure de traitement massif de données ? Quelles sont ses principales briques ? Quid des premières applications ? Décryptage. 1 - Qu'est ce qu'Hadoop ? Il s'agit d'un framework Open Source conçu pour réaliser des traitements sur des volumes de données massifs, de l'ordre de plusieurs petaoctets (soit plusieurs milliers de To). Hadoop a été conçu par Doug Cutting en 2004. Yahoo! 2 - Quel est le principe de fonctionnement de ce framework de traitement intensif ? Dans une logique d'architecture Hadoop, cette liste est découpée en plusieurs parties, chaque partie étant stockée sur une grappe de serveurs différente. 3 - Quelles en sont les différentes briques ? Poursuivons notre exemple. Les réseaux sociaux Facebook, Twitter et Linkedin repose sur Hadoop En aval, la distribution et la gestion des calculs est réalisé par MapReduce. Map qui s'applique sur une liste d'éléments. 4 - Au-delà de Yahoo!
Data Mining: An Introduction By this point in time, you've probably heard a good deal about data mining -- the database industry's latest buzzword. What's this trend all about? To use a simple analogy, it's finding the proverbial needle in the haystack. In this case, the needle is that single piece of intelligence your business needs and the haystack is the large data warehouse you've built up over a long period of time. Data Mining in Business Through the use of automated statistical analysis (or "data mining") techniques, businesses are discovering new trends and patterns of behavior that previously went unnoticed. Gathering Data The first step toward building a productive data mining program is, of course, to gather data! Selecting an Algorithm At this point, take a moment to pat yourself on the back. Regression Regression is the oldest and most well-known statistical technique that the data mining community utilizes. Classification Other Techniques Data Mining Products Moving On
Que signifie Hadoop? - Définition par WhatIs.com Hadoop est une infrastructure de programmation gratuite qui repose sur Java et qui prend en charge le traitement de jeux de données volumineux au sein d'environnements informatiques distribués. Hadoop fait partie intégrante du projet Apache parrainé par l'Apache Software Foundation. Hadoop permet d'exécuter des applications sur des systèmes dotés de milliers de noeuds impliquant des centaines de téraoctets. Son système de fichiers distribué favorise un taux élevé de transfert de données entre les noeuds et permet un fonctionnement ininterrompu du système en cas de défaillance d'un d'entre eux. Hadoop s'inspire de Google MapReduce, une infrastructure logicielle qui consiste à fragmenter une application en de nombreux petits composants. Doug Cutting, le créateur d'Hadoop, a baptisé l'infrastructure du nom de l'éléphant en peluche de son fils. Les systèmes d'exploitation privilégiés sont Windows et Linux, mais Hadoop fonctionne également avec BSD et OS X.
Exploration de données Un article de Wikipédia, l'encyclopédie libre. Vous lisez un « bon article ». L'utilisation industrielle ou opérationnelle de ce savoir dans le monde professionnel permet de résoudre des problèmes très divers, allant de la gestion de la relation client à la maintenance préventive, en passant par la détection de fraudes ou encore l'optimisation de sites web. C'est aussi le mode de travail du journalisme de données[1]. L'exploration de données[2] fait suite, dans l'escalade de l'exploitation des données de l'entreprise, à l'informatique décisionnelle. Histoire[modifier | modifier le code] Collecter les données, les analyser et les présenter au client. De 1919 à 1925, Ronald Fisher met au point l'analyse de la variance comme outil pour son projet d'inférence statistique médicale. L'arrivée progressive des micro-ordinateurs permet de généraliser facilement ces méthodes bayésiennes sans grever les coûts. Applications industrielles[modifier | modifier le code]
Les 20 meilleurs outils de datavisualisation au banc d’essai Que vous soyez absolument novice ou codeur amateur, il existe aujourd’hui sur le web une impressionnante palette d’outils (presque) gratuits pour réaliser des datavisualisations. Banc d’essai. Note : j’ai volontairement éliminé les outils (a) entièrement payants (b) trop moches pour être utilisés dans des rédactions (c) en Flash. Ce billet n’est consacré qu’aux outils de “visualisation”, et non de scraping ou de traitement des données (un autre billet suivra bientôt). ↑1 » Pour les novices/pressés : le clé-en-mains Ces outils gratuits ou freemium permettent de générer des graphiques ultra-rapidement en copiant-collant des données d’un tableur. Le meilleur – Datawrapper : Simple d’utilisation, sobre, rapide, Datawrapper est tout à fait satisfaisant pour la plupart des visualisations courantes. Les + : la possibilité de personnaliser les couleurs, de mettre en évidence une série, la navigation par onglets entre les différentes séries. Les challengers : Ils ne nous ont pas convaincu : Sources :
La Business Intelligence, cost-killer mais user-friendly Pour améliorer les prises de décision sur sa production mondiale, la société d'études de marché GfK a mis en place un système global de collecte de données. Avec la volonté d'adapter l'outil aux contraintes et aux besoins de ses utilisateurs. Si notre groupe international dispose bien sûr d'outils de pilotage financiers, les indicateurs qu'ils produisent ne sont pas reliés à la production. Nous ne possédons ni outils, ni indicateurs partagés pour piloter cette dernière dans la centaine de pays où nous sommes présents. En mettant en place une application dédiée, baptisée Ariane, le groupe entend mieux ajuster les moyens mis en œuvre dans telle ou telle région avec les impératifs de production. Par exemple, il s'agit de mesurer combien d'heures requiert telle activité ou quelle est la proportion de prestations achetées à des sous-traitants pour répondre à telle ou telle demande. Aller vite, miser sur des outils intuitifs Aller vers la mesure de coûts unitaires
L'ARCEP adopte des lignes directrices relatives à la tarification des réseaux d'initiative publique L'ARCEP adopte des lignes directrices relatives à la tarification des réseaux d'initiative publique Paris, le 7 décembre 2015 Pour donner de la visibilité aux collectivités territoriales qui investissent dans la fibre, l'Autorité adopte le 7 décembre 2015 des lignes directrices concernant la tarification des réseaux d'initiative publique (" RIP "). L'intervention des collectivités territoriales est primordiale pour permettre le déploiement de la fibre sur les zones les moins denses du territoire et prévenir l'apparition d'une fracture numérique. L'Autorité a tenu le plus grand compte du cadre européen, et notamment des règles européennes en matière d'aides d'Etat, de manière à sécuriser dans la durée les projets portés par les collectivités territoriales. La consultation publique menée par l'Autorité du 6 octobre 2015 au 6 novembre 2015 sur le projet de lignes directrices détaillant ces mesures a suscité une large mobilisation du secteur.
dcode.fr : Anagrammes, Mots croisés, Cryptographie, Solveurs etc. Data Warehouse, Entrepôt de données Qu'est-ce qu'un Data Warehouse ? Définition du Data Warehouse Le Data Warehouse, ou entrepôt de données, est une base de données dédiée au stockage de l'ensemble des données utilisées dans le cadre de la prise de décision et de l'analyse décisionnelle. Le Data Warehouse est exclusivement réservé à cet usage. Il est alimenté en données depuis les bases de production grâce notamment aux outils d'ETL Extract Transform Load. Les 4 caractéristiques du Data Warehouse Le Data Warehouse n'est pas une simple copie des données de production. "Subject oriented, integrated, nonvolatile, time variant collection of data in support of management decisions. Orienté sujet Au coeur du Data warehouse, les données sont organisées par thème. Data Warehouse Open Source L'Infocentre, l'ancêtre des bases de données décisionnelles L’infocentre était un SGBDR présentant une copie de travail d’une partie de la base de production, mise à jour périodiquement. Livre recommandé The Data Warehouse Lifecycle Toolkit R.
Portail:Cryptologie Une page de Wikipédia, l'encyclopédie libre. Introduction La cryptologie, du grec cruptos : étymologiquement la science du secret, ne peut être vraiment considérée comme une science que depuis peu de temps. Participez au projet ! Il existe de nombreux moyens pour aider à améliorer cette encyclopédie : Corriger les articles existants et les ébauchesCréer de nouveaux articles (voir les articles à créer)Illustrer les articlesVisiter le projet OLAP - Informatique décisionnelle Fonctions essentielles Un système d'information décisionnel assure quatre fonctions fondamentales : la collecte des données, l'intégration, la diffusion et la présentation et enfin l'administration. Collecte : La collecte (parfois appelée datapumping) est l'ensemble des tâches consistant à détecter, à sélectionner, à extraire et à filtrer les données brutes issues des bases de production. Les sources de données, étant souvent hétérogènes, cette fonction est la plus délicate à mettre en place. La collecte des données se font donc à l'aide d'outils de type ETL (extract-transform-load pour extraction-transformation-chargement). Intégration : L'intégration consiste à concentrer les données collectées dans un espace unifié : l'entrepôt de données. Administration : C'est la fonction transversale qui supervise la bonne exécution de toutes les autres.
Introduction à la cryptologie Table des matières 1. Terminologie La cryptologie est une science mathématique qui comporte deux branches : la cryptographie et la cryptanalyse. La cryptographie traditionnelle est l'étude des méthodes permettant de transmettre des données de manière confidentielle. La cryptanalyse, à l'inverse, est l'étude des procédés cryptographiques dans le but de trouver des faiblesses et, en particulier, de pouvoir décrypter des textes chiffrés. - Figure 1. 2. Si le but traditionnel de la cryptographie est d'élaborer des méthodes permettant de transmettre des données de manière confidentielle, la cryptographie moderne s'attaque en fait plus généralement aux problèmes de sécurité des communications. 2.1. La confidentialité est historiquement le premier problème posé à la cryptographie. 2.1.1. Dans la cryptographie conventionnelle, les clefs de chiffrement et de déchiffrement sont identiques : c'est la clef secrète, qui doit être connue des tiers communiquants et d'eux seuls. - Figure 2. - Figure 3.
Réseaux sociaux : faites les bons choix ! Les moyennes et grosses collectivités territoriales ont, dans leur grande majorité, commencé à adapter leur communication aux moyens disponibles. Selon le baromètre Ideose, plus de la moitié d’entre elles possèdent notamment un compte Facebook. Idem concernant Twitter. Mais toutes n’ont pas une utilisation approfondie de ces outils et beaucoup se limitent à ces deux-là, alors qu’il en existe une multitude offrant divers avantages. Surpuissant Facebook La spécificité de Facebook, celle qui doit en faire un réseau social central dans la communication des collectivités territoriales, tient évidemment à son nombre d’utilisateurs. Selon les chiffres présentés par Facebook en septembre dernier, il existe plus de 30 millions d’utilisateurs actifs – des personnes qui interagissent au moins une fois dans le mois – en France. Le deuxième avantage concerne les usages développés par les utilisateurs. Utiliser efficacement Facebook suppose de respecter quelques bonnes pratiques. Ceux qui montent