கட்டற்ற கணிநுட்பம்
Attributes for Series, Dataframe, Panel பாண்டாஸ் ஆதரிக்கும் இம்மூன்று தரவு வகைகளுக்குமான பண்புகள் என்னென்ன செய்திகளை வெளிப்படுத்துகின்றன என்பது பின்வருமாறு கொடுக்கப்பட்டுள்ளது. This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in…
Read more
DataFrame creation – Multiple ways ஒரு டேட்டாஃப்பிரேமை பல்வேறு வழிகளில் உருவாக்கலாம். அறிமுகத்தின் போது ஒரு லிஸ்ட் உள்ளே பல லிஸ்டை கொடுத்து உருவாக்கினோம் அல்லவா! அதேபோல இன்னும் என்னென்ன வழிகளில் எல்லாம் உருவாக்கலாம் என்பதை இப்பகுதியில் காணலாம். அவை பின்வருமாறு. This file contains bidirectional Unicode text that may…
Read more
Row & Column References மூன்று மாணவர்கள் மற்றும் ஐந்து பாடங்களை வெறும் எண்களால் குறிப்பிடாமல் அவற்றுக்கான பெயர்களை வைத்துக் குறிப்பிட்டால் அணுகுவதற்கும், புரிந்துகொள்வதற்கும் இன்னும் சுலபமாக இருக்கும் அல்லவா? அதற்காகத்தான் இன்டெக்ஸ் மற்றும் columns ஆகிய பண்புகள் பயன்படுகின்றன. இவைகளைப் பயன்படுத்தி எழுதப்பட்டுள்ள நிரல் பின்வருமாறு. This file contains bidirectional Unicode…
Read more
Pandas என்பது தரவுகளை வைத்து பல்வேறு ஆய்வினை நிகழ்த்துவதற்கு உதவும் வகையில் தரவினைப் பல்வேறு வடிவங்களில் சேமிக்கப் பயன்படுகிறது. Series, Dataframe, Panel ஆகியவை பாண்டாஸ் பயன்படுத்துகின்ற தரவு வடிவங்களாகும். இவை முறையே ஒருபரிமாண இருபரிமாண மற்றும் முப்பரிமாண வடிவில் அமையும் தரவுகளை சேமிக்கப் பயன்படுகின்றன. எடுத்துக்காட்டாக நமது அரசாங்கத்தில் என்னென்ன துறைகள் உள்ளன என்பதை…
Read more
Ansible Playbooks கட்டளைகளை தனித்தனியே இயக்குவதற்கு பதிலாக ஒரு கோப்பில் எழுதி, அக்கோப்பினை இயக்குவதன் மூலம் அனைத்து வேலைகளையும் செய்து கொள்ளலாம். இதற்கு Playbook என்று பெயர். இது yaml வடிவில் .yml என்ற extension கொண்டு சேமிக்கப்படுகிறது. இதில் குறிப்பிடப்படுகின்ற ஒவ்வொரு வேலையும் task என்று அழைக்கப்படுகின்றன. Ansible ஆனது இந்த Playbook-ல் உள்ளவற்றைப்…
Read more
Ansible உங்களிடம் ஒரு லினக்ஸ் சர்வர் உள்ளது. இதில் இன்று நீங்கள் 8 மென்பொருட்களை நிறுவ வேண்டும். 15 மென்பொருட்களை மேம்படுத்த வேண்டும். 2 மென்பொருட்களை நீக்க வேண்டும். எப்படிச் செய்வீர்கள்? அவற்றுக்கான கட்டளைகளை ஒன்றன் பின் ஒன்றாகத்தான் தருவீர்கள். சரிதானே. இதே வேலையை 5 சர்வர்களில் செய்ய வேண்டும் என்றால்? ஒவ்வொரு சர்வராக login…
Read more
Schedule using Airflow இனிவரும் பகுதியில் இதற்கு முன் பகுதியில் கண்ட அதே விஷயத்தை Airflow கொண்டு உருவாக்கித் திட்டமிடுவது பற்றிக் காணலாம். கீழ்கண்ட கட்டளைகள் Airflow இயங்குவதற்குத் தேவையான விஷயத்தை இன்ஸ்டால் செய்யும். $ sudo pip3 install apache-airflow $ sudo pip3 install flask $ sudo pip3 install flask_bcrypt…
Read more
Airflow Airflow என்பது அப்பாச்சி நிறுவனம் வழங்குகின்ற திறந்த மூல மென்பொருள் கருவி ஆகும். கணினியில் நடைபெறும் ஒரு சில செயல்கள் தொடர்ச்சியாக எப்போதெல்லாம் நடைபெற வேண்டும் எனத் திட்டமிடுவது workflow scheduling எனப்படும். இவ்வாறு அதிக அளவில் திட்டமிடப்பட்ட பணிகளின் எண்ணிக்கை உயர உயர அவற்றைக் கண்காணிப்பது கடினமாகி விடுகிறது. இப்பிரச்சினைக்காக Airbnb…
Read more
MongoDB MongoDB என்பது திறந்த மூல மென்பொருள் கருவி ஆகும். இது NoSQL-ஐ அடிப்படையாகக் கொண்டு இயங்குகின்ற டேட்டாபேஸ் சேவையகம் ஆகும். அதாவது அட்டவணைகளில் சேமிக்க இயலாத தரவு அமைப்புகளையும் சேமிக்க வழிவகை செய்யும் டேட்டாபேசுக்கு NoSQL என்று பெயர். இதில் கீழ்க்கண்டவாறு பல்வேறு வகைகள் உள்ளன. Document oriented – MongoDB,CouchDB column oriented…
Read more
Kafka நிகழ் நேரத்தில் அதிக அளவு உற்பத்தியாகும் (throughput) தரவு ஊட்டங்களை (data feed) குறைந்த காலதாமதத்தில் (low latency) பெற்று ப்ராசஸ் செய்வதற்கான ஒரு கட்டமைப்பே kafka ஆகும். இது scala மொழியில் எழுதப்பட்ட திறந்த மூல மென்பொருள் கருவி ஆகும். ப்ரொடியூசர் கன்ஸ்யூமர் என்னும் இருவேறு அப்ளிகேஷன்களுக்கு இடையே செய்திகளைத் தாங்கிச்…
Read more