Wen Mining Course Unit on Web Log Analysis
Web Mining Course Modules To get the presentations, add www.kdnuggets.com/web_mining_course/ in front of ppt files below Module 1: Introduction to Web Mining wm1-web-mining-intro.pptModule 2a: Web Server Log wm2a-web-server-log.pptModule 2b: Unix tools for web log analysis wm2b-unix-web-log-analysis.pptModule 3a: Hit Analysis wm3a-hit-analysis.ppt Module 3b: Gawk tools for web log analysis< wm3b-gawk-web-log-analysis.ppt Module 4a: Visit Analysis; Bot or Not? wm4a-visit-analysis.ppt Module 4b: Perl tools for web log analysis wm4b-perl-web-log-analysis.ppt Basic Perl script for web log parsing (web_log_parse.txt) Module 5: Behavior modeling wm5-behaviour-analysis.ppt Assignments Note: Professors using these modules can get answers by contacting Gregory Piatetsky directly at gregory at kdnuggets dot com. Data This data can be downloaded from kdlog.zip (0.6 MB) in www.kdnuggets.com/web_mining_course/ directory. First 100 log lines are in the unzipped file d100.log in the same directory.
L'exploration des données à la portée des non-initiés
En téléchargeant un module d'extension du tableur Excel développé par 11Ants, les TPE-PME peuvent accéder à des outils d'analyse mathématiques auparavant réservés aux seuls experts. Pour amener les petites et moyennes entreprises (PME) à se servir d'outils de modélisation mathématiques et de prévision statistique, il faut intégrer ceux-ci dans des logiciels qu'elles connaissent. En suivant cette logique, 11Ants propose une solution qui intègre des fonctions de calculs de probabilités et d'analyse prédictive à Excel. "Nous éliminons l'intimidation des non-initiés en intégrant des outils de 'data mining' à un environnement qui leur est familier", explique à L'Atelier Tom Fuyala, l'un des responsables du projet. Plus concrètement, les fonctions introduites correspondent à une série de techniques mathématiques développées par l'université néo-zélandaise de Waikato. Des algorithmes ajoutés aux paramètres Une solution avantageuse pour les petites entreprises
Six Stunning Projects That Show the Power of Data Visualization
Data visualization is taking the web by storm and, with a little luck, it might be the next big thing in online journalism. Buoyed by the open data movement and accelerating change in newsrooms around the country, it has become something more than just flashy graphics and charts — it is a new form of visual communication for the 21st century. In the coming months, I’ll be writing about this emerging field for MediaShift. What is Data Visualization? At its core, data visualization is the visual representation of information served up with a healthy dose of innovation and creativity. This periodic table of visualization methods by the folks over at VisualLiteracy.org illustrates a number of different elements or viz building blocks. Below, you’ll find six examples of data visualization from around the web and across the globe that provide an overview of the techniques and approaches to data visualization. 1. Hans Rosling makes stats come alive 2. An image from the Geography of a Recession 3.
Le « journalisme artificiel » est en ligne
C’était annoncé, c’est désormais chose faite. Les premiers articles entièrement rédigés par des « robots » sont en ligne sur le site de StatSheet. Pour l’instant, ces « journalistes artificiels » ne couvrent que le sport, mais Robbie Allen, le fondateur de cette startup américaine estime que cette technologie pourrait être utilisée à l’avenir dans d’autres domaines. Dans un article publié par Le Monde en mars 2009, Yves Eudes décrivait Stats Monkey, un programme d’intelligence artificielle développé par un laboratoire d’intelligence artificielle (infolab), rattaché à l’université de Northwestern, à Chicago: Il [Stats Monkey] travaille automatiquement de A à Z. À l’époque, l’article avait suscité une certaine émotion. Pour certains sujets, nous ne faisons appel ni à des journalistes, ni à des redacteurs humains. Les robots de StatSheet, vu par Robbie Allen, son fondateur Avec StatSheet, en tout cas, le pas est franchi [le site semble encore instable]. Le résultat est surprenant.
Qu'est-ce que le Big Data
Quand Henri Verdier, CEO de Cap Digital, revient de Silicon Valley en s'écriant «tout ce que nous connaissions du web va changer à nouveau avec le phénomène des big data», il est temps de faire un petit tour d'horizon. «Big Data» est une expression qui circule depuis quelque temps dans la niche hi-tech de l'informatique dématérialisée (computer in the cloud) et qui fait référence aux outils, processus et procédures permettant à une entreprise de créer, manipuler et gérer de très larges quantités de données. (What is "Big Data?" Si les géantes corporations (on pense à Google, Visa, eBay, Amazon) sont déjà sur ce terrain, la possibilité de gérer du «Big Data» commence à être accessible pour les plus petites entreprises (Big data analytics: From data scientists to business analysts, O'Reilly Radar). La démocratisation est en cours, et le «Big Data» s'installera au coeur des entreprises qui sauront y donner une valeur. La gestion de ces énormes bases ne se fait pas sans mal. Autres liens:
