mirror of
https://github.com/lrnselfreliance/wrolpi.git
synced 2026-10-26 02:48:38 -04:00
03a2df217d
* A new zim module has been added, this module allows several things to interact with Zim files. * Allow searching of Zim files using libzim. * Allow downloading of Kiwix projects (wikipedia, wikibooks, etc) on a schedule which replaces the outdated files. * Creation of a new zim docker container which allows viewing of the Zim file contents. * This commit also adds move/rename/mkdir features in the File Browser. * File tags are preserved when moving/renaming.
134 lines
7.5 KiB
Python
134 lines
7.5 KiB
Python
WIKIPEDIA_LANGUAGES = ['ab', 'ace', 'ady', 'af', 'alt', 'am', 'ami', 'an', 'ang', 'anp', 'ar', 'arc', 'ary', 'arz',
|
|
'as', 'ast', 'atj', 'av', 'avk', 'awa', 'ay', 'az', 'azb', 'ba', 'ban', 'bar', 'bcl', 'be',
|
|
'be-tarask', 'bg', 'bho', 'bi', 'bjn', 'blk', 'bm', 'bn', 'bo', 'bpy', 'br', 'bs', 'bug', 'bxr',
|
|
'ca', 'cbk', 'cdo', 'ce', 'ceb', 'ch', 'chr', 'chy', 'ckb', 'co', 'cr', 'crh', 'cs', 'csb', 'cu',
|
|
'cv', 'cy', 'da', 'dag', 'de', 'din', 'diq', 'dsb', 'dty', 'dv', 'dz', 'ee', 'el', 'eml', 'en',
|
|
'eo', 'es', 'et', 'eu', 'ext', 'fa', 'fat', 'ff', 'fi', 'fj', 'fo', 'fr', 'frp', 'frr', 'fur',
|
|
'fy', 'ga', 'gag', 'gan', 'gcr', 'gd', 'gl', 'glk', 'gn', 'gom', 'gor', 'got', 'gsw', 'gu',
|
|
'guc', 'gur', 'guw', 'gv', 'ha', 'hak', 'haw', 'he', 'hi', 'hif', 'hr', 'hsb', 'ht', 'hu', 'hy',
|
|
'hyw', 'ia', 'id', 'ie', 'ig', 'ik', 'ilo', 'inh', 'io', 'is', 'it', 'iu', 'ja', 'jam', 'jbo',
|
|
'jv', 'ka', 'kaa', 'kab', 'kbd', 'kbp', 'kcg', 'kg', 'ki', 'kk', 'kl', 'km', 'kn', 'ko', 'koi',
|
|
'krc', 'ks', 'ksh', 'ku', 'kv', 'kw', 'ky', 'la', 'lad', 'lb', 'lbe', 'lez', 'lfn', 'lg', 'li',
|
|
'lij', 'lld', 'lmo', 'ln', 'lo', 'lt', 'ltg', 'lv', 'lzh', 'mad', 'mai', 'map-bms', 'mdf', 'mg',
|
|
'mhr', 'mi', 'min', 'mk', 'ml', 'mn', 'mni', 'mnw', 'mr', 'mrj', 'ms', 'mt', 'mwl', 'my', 'myv',
|
|
'mzn', 'na', 'nah', 'nan', 'nap', 'nb', 'nds', 'nds-nl', 'ne', 'new', 'nia', 'nl', 'nn', 'nov',
|
|
'nrm', 'nso', 'nv', 'ny', 'oc', 'olo', 'om', 'or', 'os', 'pa', 'pag', 'pam', 'pap', 'pcd', 'pdc',
|
|
'pfl', 'pi', 'pih', 'pl', 'pms', 'pnb', 'pnt', 'ps', 'pt', 'pwn', 'qu', 'rm', 'rmy', 'rn', 'ro',
|
|
'roa-tara', 'ru', 'rue', 'rup', 'rw', 'sa', 'sah', 'sat', 'sc', 'scn', 'sco', 'sd', 'se', 'sg',
|
|
'sgs', 'sh', 'shi', 'shn', 'si', 'sk', 'skr', 'sl', 'sm', 'smn', 'sn', 'so', 'sq', 'sr', 'srn',
|
|
'ss', 'st', 'stq', 'su', 'sv', 'sw', 'szl', 'szy', 'ta', 'tay', 'tcy', 'te', 'tet', 'tg', 'th',
|
|
'ti', 'tk', 'tl', 'tn', 'to', 'tpi', 'tr', 'trv', 'ts', 'tt', 'tum', 'tw', 'ty', 'tyv', 'udm',
|
|
'ug', 'uk', 'ur', 'uz', 've', 'vec', 'vep', 'vi', 'vls', 'vo', 'vro', 'wa', 'war', 'wo', 'wuu',
|
|
'xal', 'xh', 'xmf', 'yi', 'yo', 'yue', 'za', 'zea', 'zh', 'zu']
|
|
|
|
WIKITIONARY_LANGUAGES = ['af', 'am', 'an', 'ang', 'ar', 'ast', 'ay', 'az', 'be', 'bg', 'bn', 'br', 'bs', 'ca', 'chr',
|
|
'co', 'cs', 'csb', 'cy', 'da', 'de', 'dv', 'el', 'en', 'eo', 'es', 'et', 'eu', 'fa', 'fi',
|
|
'fj', 'fo', 'fr', 'fy', 'ga', 'gd', 'gl', 'gn', 'gu', 'guw', 'gv', 'he', 'hi', 'hif', 'hr',
|
|
'hsb', 'hu', 'hy', 'ia', 'id', 'ie', 'io', 'is', 'it', 'iu', 'ja', 'jbo', 'jv', 'ka', 'kk',
|
|
'kl', 'km', 'kn', 'ko', 'ks', 'ku', 'kw', 'ky', 'la', 'lb', 'li', 'ln', 'lo', 'lt', 'lv', 'mg',
|
|
'mi', 'mk', 'ml', 'mn', 'mr', 'ms', 'mt', 'my', 'na', 'nah', 'nan', 'nb', 'nds', 'ne', 'nl',
|
|
'nn', 'oc', 'or', 'pa', 'pl', 'pnb', 'ps', 'pt', 'qu', 'ro', 'ru', 'rup', 'rw', 'sa', 'scn',
|
|
'sd', 'sg', 'sh', 'si', 'sk', 'sl', 'sm', 'so', 'sq', 'sr', 'ss', 'st', 'su', 'sv', 'sw', 'ta',
|
|
'te', 'tg', 'th', 'ti', 'tk', 'tl', 'tn', 'tpi', 'tr', 'ts', 'tt', 'ug', 'uk', 'ur', 'uz',
|
|
'vec', 'vi', 'vo', 'wa', 'wo', 'yi', 'zh', 'zu']
|
|
|
|
WIKIBOOKS_LANGAUGES = ['af', 'ar', 'az', 'ba', 'be', 'bg', 'bn', 'bs', 'ca', 'cs', 'cv', 'cy', 'da', 'de', 'el', 'en',
|
|
'eo', 'es', 'et', 'eu', 'fa', 'fi', 'fr', 'fy', 'gl', 'he', 'hi', 'hr', 'hu', 'hy', 'ia', 'id',
|
|
'is', 'it', 'ja', 'ka', 'kk', 'km', 'ko', 'ku', 'ky', 'la', 'li', 'lt', 'mg', 'mk', 'ml', 'mr',
|
|
'ms', 'nb', 'ne', 'nl', 'oc', 'pa', 'pl', 'pt', 'ro', 'ru', 'sa', 'si', 'sk', 'sl', 'sq', 'sr',
|
|
'sv', 'ta', 'te', 'tg', 'th', 'tl', 'tr', 'tt', 'uk', 'ur', 'vi', 'zh']
|
|
|
|
KIWIX_CATALOG = [
|
|
{
|
|
'name': 'Wikibooks (with images)',
|
|
'languages': WIKIBOOKS_LANGAUGES,
|
|
'size': 4.3 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikibooks (no images)',
|
|
'languages': WIKIBOOKS_LANGAUGES,
|
|
'size': 3.4 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikipedia (with images)',
|
|
'languages': WIKIPEDIA_LANGUAGES,
|
|
'size': 94 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikipedia (mini)',
|
|
'languages': WIKIPEDIA_LANGUAGES,
|
|
'size': 13 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikipedia (no images)',
|
|
'languages': WIKIPEDIA_LANGUAGES,
|
|
'size': 50 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikiversity (with images)',
|
|
'languages': ['ar', 'cs', 'de', 'el', 'en', 'es', 'fi', 'fr', 'hi', 'it', 'ja', 'ko', 'pt', 'ru', 'sl', 'sv',
|
|
'zh'],
|
|
'size': 2.3 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikiversity (no images)',
|
|
'languages': ['ar', 'cs', 'de', 'el', 'en', 'es', 'fi', 'fr', 'hi', 'it', 'ja', 'ko', 'pt', 'ru', 'sl', 'sv',
|
|
'zh'],
|
|
'size': 1.8 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikitionary (no images)',
|
|
'languages': WIKITIONARY_LANGUAGES,
|
|
'size': 7.3 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikitionary (with images)',
|
|
'languages': WIKITIONARY_LANGUAGES,
|
|
'size': 8.0 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Wikisource',
|
|
'languages': ['ang', 'ar', 'as', 'az', 'be', 'bg', 'bn', 'br', 'bs', 'ca', 'cs', 'cy', 'da', 'de', 'el', 'en',
|
|
'eo', 'es', 'et', 'eu', 'fa', 'fi', 'fo', 'fr', 'gl', 'gu', 'he', 'hr', 'ht', 'hu', 'hy', 'id',
|
|
'is', 'it', 'ja', 'kn', 'ko', 'la', 'li', 'lt', 'mk', 'ml', 'mr', 'nan', 'nb', 'nl', 'or', 'pa',
|
|
'pl', 'pms', 'pt', 'ro', 'ru', 'sa', 'sah', 'sk', 'sl', 'sr', 'sv', 'ta', 'te', 'th', 'tr', 'uk',
|
|
'vec', 'vi', 'yi', 'zh', 'zh-min-nan'],
|
|
'size': 16 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Raspberry Pi (Stack Exchange)',
|
|
'languages': ['en'],
|
|
'size': 300 * 1048576,
|
|
},
|
|
{
|
|
'name': 'Vikidia',
|
|
'languages': ['ca', 'en', 'es', 'eu', 'fr', 'it', 'ru', 'scn'],
|
|
'size': 711 * 1048576,
|
|
},
|
|
{
|
|
'name': 'Stackoverflow (Stack Exchange)',
|
|
'languages': ['en', 'es', 'ja', 'pt', 'ru'],
|
|
'size': 76 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Superuser (Stack Exchange)',
|
|
'languages': ['en'],
|
|
'size': 3 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'iFixit',
|
|
'languages': ['de', 'en', 'es', 'fr', 'it', 'ja', 'ko', 'nl', 'pt', 'ru', 'tr', 'zh'],
|
|
'size': 3 * 1073741824,
|
|
},
|
|
{
|
|
'name': 'Gutenberg',
|
|
'languages': ['af', 'ale', 'ang', 'ar', 'arp', 'bg', 'bgs', 'bo', 'br', 'brx', 'ca', 'ceb', 'cs', 'csb', 'cy',
|
|
'da', 'de', 'el', 'en', 'enm', 'eo', 'es', 'et', 'fa', 'fi', 'fr', 'fur', 'fy', 'ga', 'gl', 'gla',
|
|
'grc', 'he', 'hu', 'ia', 'ilo', 'is', 'it', 'iu', 'ja', 'kha', 'kld', 'ko', 'la', 'mi', 'mul',
|
|
'myn', 'nah', 'nai', 'nap', 'nav', 'nl', 'no', 'oc', 'oji', 'pl', 'pt', 'rmr', 'ro', 'ru', 'sa',
|
|
'sl', 'sr', 'sv', 'te', 'tl', 'zh'],
|
|
'size': 70 * 1073741824,
|
|
},
|
|
]
|
|
|
|
KIWIX_CATALOG_BY_NAME = {i['name']: i for i in KIWIX_CATALOG}
|