Big Data

Hadoop – hdfs,mapreduce – பகுதி 2

ஒரே ஒரு கணினியில் hadoop-ஐ நிறுவினால் அது single node cluster-எனவும், பல்வேறு server-களை இணைத்து நிறுவினால் அது multi-node cluster எனவும் அழைக்கப்படும். இங்கு Ubuntu 16.04 எனும் கணினியில் நிறுவுவது பற்றி பார்க்கலாம். 1. Hadoop எனும் கட்டமைப்பு Java-ல் எழுதப்பட்டிருப்பதால், முதலில் நமது கணினியில் Java நிறுவப்பட்டுள்ளதா என்பதை $ java…
Read more

Hadoop – அறிமுகம் – பகுதி 1

HADOOP வரலாறு Hadoop என்பது Apache நிறுவனம் வழங்குகின்ற திறந்த மூல மென்பொருள் கருவி ஆகும். இதனை Doug Cutting என்பவர் உருவாக்கினார். இது பெரிய தரவில் கூறப்படுகின்ற பல்வேறு வேலைகளையும் குறைந்த செலவில் திறம்பட செய்வதற்காக உருவாக்கப்பட்ட பல்வேறு மென்பொருள்களின் கூட்டமைப்பு ஆகும். Hadoop உருவாக்கத்திற்கு முன்னர் Doug Cutting என்பவர் ‘Apache Lucene’…
Read more

நிகழ்நேரப் பெருந்தரவு – அறிமுகக் காணொளிகள்

ElasticSearch, Logstash, Kibana என்ற மென்பொருட்கள் மூலம் நிகழ்நேரப் பெருந்தரவு ஆய்வுகளைச் (Real Time Bigdata Analysis) செய்தல் பற்றி நமது எழுத்தாளர் நித்யா அவர்களின் காணொளிகள் இங்கே.   உரை வடிவில் இங்கே – www.kaniyam.com/category/elk-stack/     நீங்களும்  இதுபோல கட்டற்ற மென்பொருட்களுக்கு விளக்கக் காணொளிகளை உருவாக்கி அளிக்க வேண்டுகிறோம். நன்றி.

ELK Stack – பகுதி 4

Kibana Kibana என்பதுElasticSearch-ல் இருக்கும் தரவுகளை வரைபடங்களாக மாற்றி வெளிப்படுத்தஉதவும் ஒரு Visual Interface ஆகும். ElasticSearch-ல் இருக்கும் தரவுகளை வைத்து ஒருசில முக்கிய முடிவுகளை எடுப்பதற்கு Kibana-வின் வரைபடங்கள் உதவுகின்றன. இதனை அறிக்கைக்கான கருவி (ReportingTool) என்றும் கூறலாம். அதாவது வெறும் எண்ணிக்கையினாலான தகவல்களை மட்டும்வைத்துக்கொண்டு ஒருசில முக்கிய முடிவுகளை எடுப்பது என்பது சற்று…
Read more

ELK Stack – பகுதி 3

Logstash Logstash  என்பது  நிகழ்வுகளைப் பெற உதவும் ஒரு  தரவுக் குழாய் (data pipeline)  ஆகும். இது ரூபி மொழியில் எழுதப்பட்ட பல்வேறு வகையான செருகு நிரல்களை(plugins)  வைத்து இயங்குகிறது. எனவே தான் இது “Plugin based events processing data pipeline” என்று அழைக்கப்படுகிறது. இந்த தரவுக் குழாய் 3 வகையான நிலைகளில் தரவுகளைக்…
Read more

ELK Stack – பகுதி 2

Elastic Search ElasticSearch என்பது பல கோடிக்கணக்கான தரவுகளை சேமித்து வைத்துக்கொண்டு, நாம் கேட்கும் நேரங்களில் கேட்கும் தகவல்களை துரிதமாக வெளிப்படுத்த உதவும் ஒரு சேமிப்புக் கிடங்கு மற்றும் தேடு இயந்திரம் (Storage area & Search engine) ஆகும். தேடலிலும் நமக்கு உதவும் வகையில் இது வடிவமைக்கப்பட்டுள்ளது. GitHub, Google, StackOverflow, Wikipediaபோன்றவை இதனைப்…
Read more

ELK Stack – பகுதி 1

ELK Stack – ஓர் அறிமுகம் ELK Stack என்பது Logstash, Elastic Search, Kibana எனும் 3 தனித்தனி திறந்த மூல மென்பொருள் கருவிகளின் கூட்டமைப்பு  ஆகும்.  இவை முறையே 2009 , 2010, 2011   ஆகிய ஆண்டுகளில் தனித்தனி நபர்களால் உருவாக்கப்பட்டு தனித்தனி திறந்தமூலக் கருவிகளாக வெளிவந்து கொண்டிருந்தன. பின்னர் 2012-ஆம்…
Read more

Big Data – ஓர் அறிமுகம்

source – commons.wikimedia.org/wiki/File:BigData_2267x1146_white.png நமது ஊரில் உள்ள பழக்கப்பட்ட மளிகைக் கடைக்குச் சென்று பொருட்கள் வாங்கும்போது, அந்தக் கடைக்காரருக்கு நம்மைப் பற்றிய விவரம் முழுவதும் தெரிந்திருக்கும். மேலும் அவர் நம்முடன் கொண்ட பழக்கத்தினால் நமக்கு எது பிடிக்கும் எது பிடிக்காது என்பதை சற்று கணித்து வைத்திருப்பார். எனவே நமது ரசனைக்கேற்ப அவரிடம் ஏதேனும் புது சரக்குகள்…
Read more

பெரும் தரவு (பிக் டேட்டா) பகுதி – 3 HADOOP

பெரும் தரவு (பிக் டேட்டா) பகுதி – 3 HADOOP அனைவருக்கும் வணக்கம். நாம் முந்தைய இரண்டு கட்டுரைகளில் பெரும் தரவு என்றால் என்ன அதன் பண்புகள், பெரும் தரவு கட்டமைப்பில்லுள்ள பல்வேறு கூறுகள், நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி பாரம்பாிய தரவு செயலாக்கத்தில் இருந்து வேறுபடுகிறது என்று கண்டோம். அந்த வரிசையில்…
Read more

பிக் டேட்டா (பெரும் தரவு) பகுதி – 2

பெரும் தரவின் கட்டமைப்புகள் நாம் முந்தைய கட்டுரையில் பெரும் தரவு என்றால் என்ன? அதன் பண்புகள், பெரும் தரவுகள் நமக்கு ஏன் இத்தனை சவாலாக உள்ளன, அத்தனை பெரும் தரவுகளும் எங்கேயிருந்து வருகின்றன, அதனால் வரும் நன்மைகள் என அனைத்தும் பாா்த்தோம். அதன் தொடா்ச்சியாக நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி பாரம்பாிய தரவு…
Read more