Aavanaham Backup Process - Revision history

Parathan at 07:48, 1 April 2021

2021-04-01T07:48:10Z

Parathan at 07:36, 1 April 2021

2021-04-01T07:36:35Z

Parathan at 05:37, 1 April 2021

2021-04-01T05:37:44Z

Parathan at 13:22, 12 January 2021

2021-01-12T13:22:09Z

Parathan at 13:20, 12 January 2021

2021-01-12T13:20:59Z

Parathan at 13:20, 12 January 2021

2021-01-12T13:20:38Z

Parathan at 06:16, 21 July 2020

2020-07-21T06:16:38Z

Parathan at 06:15, 21 July 2020

2020-07-21T06:15:17Z

Parathan: Created page with "ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை அண்மையில் அல்லது இதுவரை..."

2020-07-21T06:14:49Z

Created page with "ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை அண்மையில் அல்லது இதுவரை..."

New page

ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை

அண்மையில் அல்லது இதுவரை காலமும் தரவேற்றப்பட்ட ஆவணக பதிவுகளின் மீதரவுத் தாளினை பெற வேண்டும்.

இது போன்ற உதாரணம் (https://docs.google.com/spreadsheets/d/1ZLl2LVl87rKwENuLim95HX67dDWRTHtAOD3FU14bS2Y/edit?usp=sharing)

பின்னர் அத் தரவுத்தாளில் உள்ள collection என முடிகின்ற row களை நீக்க வேண்டும். (காரணம்: collection களுக்குள் உள்ள object களை மாத்திரமே நாம் தரவிறக்கி காப்புப்படி எடுக்க வேண்டும். எனவே collection களை நீக்க வேண்டும். )

Server ல் இடப்பற்றாக்குறை காரணமாக ஒரு நேரத்தில் 250 வரையான ஆவணகங்களை காப்புப்படி எடுத்தல் சிறந்த முறையாகும்.. எனவே CSV கோப்பினை சிறு சிறு பகுதிகளாக உருவாக்க வேண்டும். இதற்கு பைத்தான் மொழியில் எழுதப்பட்ட நிரலாக்கம் உள்ளது. அதனை run செய்வதன் மூலம் சிறு சிறு CSV கோப்புகளாக பெரிய CSV கோப்ப்பினை மாற்ற முடியும்.

பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை scp ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) எடுக்க வேண்டும்.

பின்னர் server ல் /var/www/html folder உள் உள்ள bagit.py என்ற பைத்தான் script ல் சிறிதாக்கப்பட்ட CSV கோப்பு உள்ள path ஐ சரியாக கொடுத்து அவ் script ஐ run செய்ய வேண்டும்.

அது Server ல் /home/bags என்ற கோப்பினுள் Bag செய்யப்பட்டு Folder களாக சேமிக்கப்பட்டிருக்கும். பின்னர் /home/bags ல் உள்ள Folder களை ZIP கோப்புகளாக மாற்ற வேண்டும். அதற்கும் ஒரு Python script உள்ளது. அவ் Script ஐ /home/bags க்குள் இட்டு run செய்ய வேண்டும்.

அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும்.

@@ Line 33: / Line 33: @@
 . '''/var/www/html''' folder க்குள் சென்று பின்வரும் command ஐ run செய்தல் வேண்டும்
 </br>
-'''drush views-data-export "recently_added_report" "views_data_export_1" repo_data_1.csv'''
+'''sudo drush views-data-export "recently_added_report" "views_data_export_1" repo_data_1.csv'''
 </br>
 . இதன் மூலம் '''repo_data_1.csv''' என்ற கோப்பு உருவாக்கப்பட்டிருக்கும். </br>
-. பின்னர் எங்களுடைய local கணனியிலிருந்து scp ஐ பயன்படுத்தி '''repo_data_1.csv''' ஐ எமது கணனிக்கு எடுத்துக்கொள்ள வேண்டும்.
+. பின்னர் எங்களுடைய local கணனியிலிருந்து scp ஐ பயன்படுத்தி '''repo_data_1.csv''' ஐ எமது கணனிக்கு எடுத்துக்கொள்ள வேண்டும்.</br>
+[[Image:Aavanaham_report_generation_terminal_2.png|800px]]
 ===ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை===

@@ Line 27: / Line 27: @@
 </br>
 </br>
 ===ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை===
-அண்மையில் அல்லது இதுவரை காலமும் தரவேற்றப்பட்ட ஆவணக பதிவுகளின் மீதரவுத் தாளினை பெற வேண்டும் என்றால் கீழ் வரும் செயன்முறையை மேற்கொண்டு பெற முடியும்.
 இது போன்ற உதாரணம் (https://docs.google.com/spreadsheets/d/1ZLl2LVl87rKwENuLim95HX67dDWRTHtAOD3FU14bS2Y/edit?usp=sharing)

← Older revision		Revision as of 05:37, 1 April 2021
Line 1:		Line 1:
		+	===ஆவணகத்தில் report உருவாக்கம் செய்யும் முறை===
		+
		+	1. ஆவணகம் தளத்திற்குள் புகுபதிகை செய்தல் </br>
		+
		+	2. பின்னர் Structure என்ற option ஐ click செய்தல் வேண்டும். பின்னர் தோன்றும் popup window ல் Views ஏன்ற Option ஐ click செய்தல் வேண்டும்.</br>
		+	[[Image:Aavanaham_recent_report_generate_1.png\|800px]]
		+	</br>
		+	</br>
		+	3. பின்னர் வரும் திரையில் Recently Added Report ஐ click செய்தல் வேண்டும்.</br>
		+	[[Image:Aavanaham_recent_report_generate_2.png\|800px]]
		+	</br>
		+	</br>
		+	4. http://aavanaham.org/recently_added_report இது நேராக இந்த பக்கத்திற்கு கொண்டு செல்லும். இது admin level உள்ள ஒருவருக்கு தான் அணுக்கம் செய்ய முடியும். Edit View ஐ click செய்தல் வேண்டும்.</br>
		+	[[Image:Aavanaham_recent_report_generate_3.png\|800px]]
		+	</br>
		+	</br>
		+	5. பின்னர் Data Export ஐ click செய்தல் வேண்டும். அதன் பின் Pager ஏன்ற Option க்குள் '''Items to display:''' க்குள் 8000 items என்பதை click செய்தல் வேண்டும்.</br>
		+	[[Image:Aavanaham_recent_report_generate_4.png\|800px]]
		+	</br>
		+	</br>
		+	6. கீழ் காணும் வகையில் setting ஐ set செய்தல் வேண்டும்.</br>
		+	[[Image:Aavanaham_recent_report_generate_5.png\|800px]]
		+	</br>
		+	</br>
		+	7. பின்னர் Setting ஐ save செய்தல் வேண்டும்.</br>
		+	[[Image:Aavanaham_recent_report_generate_6.png\|800px]]
		+	</br>
		+	</br>
	===ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை===		===ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை===
	அண்மையில் அல்லது இதுவரை காலமும் தரவேற்றப்பட்ட ஆவணக பதிவுகளின் மீதரவுத் தாளினை பெற வேண்டும் என்றால் கீழ் வரும் செயன்முறையை மேற்கொண்டு பெற முடியும்.		அண்மையில் அல்லது இதுவரை காலமும் தரவேற்றப்பட்ட ஆவணக பதிவுகளின் மீதரவுத் தாளினை பெற வேண்டும் என்றால் கீழ் வரும் செயன்முறையை மேற்கொண்டு பெற முடியும்.

@@ Line 6: / Line 6: @@
 பின்னர் அத் தரவுத்தாளில் உள்ள collection என முடிகின்ற row களை நீக்க வேண்டும். (காரணம்: collection களுக்குள் உள்ள objects களை மாத்திரமே நாம் தரவிறக்கி காப்புப்படி எடுக்க வேண்டும். எனவே collection களை நீக்க வேண்டும். ). Islandora வினுடைய கட்டமைப்பில் ஒவ்வொரு Collections களுக்குள்ளும் Objects இருக்கும்
-*Server ல் இடப்பற்றாக்குறை காரணமாக ஒரு நேரத்தில் 250 வரையான ஆவணகங்களை காப்புப்படி எடுத்தல் சிறந்த முறையாகும். எனவே CSV கோப்பினை சிறு சிறு பகுதிகளாக உருவாக்க வேண்டும். இதற்கு பைத்தான் மொழியில் எழுதப்பட்ட நிரலாக்கம் உள்ளது. அதனை run செய்வதன் மூலம் சிறு சிறு CSV கோப்புகளாக பெரிய CSV கோப்பிலிருந்து மாற்ற முடியும்.
+* Server ல் இடப்பற்றாக்குறை காரணமாக ஒரு நேரத்தில் 250 வரையான ஆவணகங்களை காப்புப்படி எடுத்தல் சிறந்த முறையாகும். எனவே CSV கோப்பினை சிறு சிறு பகுதிகளாக உருவாக்க வேண்டும். இதற்கு பைத்தான் மொழியில் எழுதப்பட்ட நிரலாக்கம் உள்ளது. அதனை run செய்வதன் மூலம் சிறு சிறு CSV கோப்புகளாக பெரிய CSV கோப்பிலிருந்து மாற்ற முடியும்.
-**பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை [https://haydenjames.io/linux-securely-copy-files-using-scp/ scp] ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) செய்தல் வேண்டும்.
+* பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை [https://haydenjames.io/linux-securely-copy-files-using-scp/ scp] ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) செய்தல் வேண்டும்.
 * பின்னர் server ல் '''/var/www/html''' folder உள் உள்ள '''[https://github.com/noolahamfoundation/digitization-pipeline/blob/master/aavanaham_automations/bagit.py bagit.py]''' என்ற பைத்தான் script ல் சிறிதாக்கப்பட்ட CSV கோப்பின் serverல்  உள்ள path ஐ சரியாக கொடுத்து அவ் script ஐ run செய்ய வேண்டும்.
-** அது Server ல் '''/home/bags''' என்ற கோப்பினுள் Bag செய்யப்பட்டு Folder களாக சேமிக்கப்பட்டிருக்கும்.
+* அது Server ல் '''/home/bags''' என்ற கோப்பினுள் Bag செய்யப்பட்டு Folder களாக சேமிக்கப்பட்டிருக்கும்.
-* பின்னர் '''/home/bags''' ல் உள்ள Folder களை ZIP கோப்புகளாக மாற்ற வேண்டும். அதற்கும் ஒரு [https://github.com/noolahamfoundation/digitization-pipeline/blob/master/aavanaham_automations/zipBagsFoldersinAavanaham.py Python script] உள்ளது. அவ் Script ஐ '''/home/bags''' folder க்குள் copy செய்து run செய்ய வேண்டும்.
+* பின்னர் '''/home/bags''' ல் உள்ள Folder களை ZIP கோப்புகளாக மாற்ற வேண்டும். அதற்கும் ஒரு '''[https://github.com/noolahamfoundation/digitization-pipeline/blob/master/aavanaham_automations/zipBagsFoldersinAavanaham.py Python script]''' உள்ளது. அவ் Script ஐ '''/home/bags''' folder க்குள் copy செய்து run செய்ய வேண்டும்.
 அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும்.
 [[Category:Technology]]

@@ Line 7: / Line 7: @@
 *Server ல் இடப்பற்றாக்குறை காரணமாக ஒரு நேரத்தில் 250 வரையான ஆவணகங்களை காப்புப்படி எடுத்தல் சிறந்த முறையாகும். எனவே CSV கோப்பினை சிறு சிறு பகுதிகளாக உருவாக்க வேண்டும். இதற்கு பைத்தான் மொழியில் எழுதப்பட்ட நிரலாக்கம் உள்ளது. அதனை run செய்வதன் மூலம் சிறு சிறு CSV கோப்புகளாக பெரிய CSV கோப்பிலிருந்து மாற்ற முடியும்.
 **பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை [https://haydenjames.io/linux-securely-copy-files-using-scp/ scp] ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) செய்தல் வேண்டும்.
 * பின்னர் server ல் '''/var/www/html''' folder உள் உள்ள '''[https://github.com/noolahamfoundation/digitization-pipeline/blob/master/aavanaham_automations/bagit.py bagit.py]''' என்ற பைத்தான் script ல் சிறிதாக்கப்பட்ட CSV கோப்பின் serverல்  உள்ள path ஐ சரியாக கொடுத்து அவ் script ஐ run செய்ய வேண்டும்.
 ** அது Server ல் '''/home/bags''' என்ற கோப்பினுள் Bag செய்யப்பட்டு Folder களாக சேமிக்கப்பட்டிருக்கும்.
 * பின்னர் '''/home/bags''' ல் உள்ள Folder களை ZIP கோப்புகளாக மாற்ற வேண்டும். அதற்கும் ஒரு [https://github.com/noolahamfoundation/digitization-pipeline/blob/master/aavanaham_automations/zipBagsFoldersinAavanaham.py Python script] உள்ளது. அவ் Script ஐ '''/home/bags''' folder க்குள் copy செய்து run செய்ய வேண்டும்.

← Older revision		Revision as of 06:16, 21 July 2020
Line 16:		Line 16:

	அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும்.		அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும்.
		+
		+	[[Category:Technology]]

@@ Line 11: / Line 11: @@
 பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை scp ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) எடுக்க வேண்டும்.
-பின்னர் server ல் /var/www/html folder உள் உள்ள bagit.py என்ற பைத்தான் script ல் சிறிதாக்கப்பட்ட CSV கோப்பு உள்ள path ஐ சரியாக கொடுத்து அவ் script ஐ run செய்ய வேண்டும்.
+பின்னர் server ல் '''/var/www/html''' folder உள் உள்ள bagit.py என்ற பைத்தான் script ல் சிறிதாக்கப்பட்ட CSV கோப்பு உள்ள path ஐ சரியாக கொடுத்து அவ் script ஐ run செய்ய வேண்டும்.
 அது Server ல் /home/bags என்ற கோப்பினுள் Bag செய்யப்பட்டு Folder களாக சேமிக்கப்பட்டிருக்கும். பின்னர் /home/bags ல் உள்ள Folder களை ZIP கோப்புகளாக மாற்ற வேண்டும். அதற்கும் ஒரு Python script உள்ளது. அவ் Script ஐ /home/bags க்குள் இட்டு run செய்ய வேண்டும்.
 அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும்.