Blog Bitix: Cómo migrar el contenido de un sitio web HTML a formato Markdown

Image may be NSFW.
Clik here to view. HTML

Image may be NSFW.
Clik here to view. Markdown

Wordpress es una opción muy pupular por su facilidad de uso para crear sitios web y blogs. Sin embargo, tiene algunos puntos débiles como necesitar una base de datos para guardar el contenido lo que hace que su instalación, mantenimiento, actualizción o presente problemas de seguridad por necesitar de un procesamiento en este caso PHP para generar las páginas HTML a partir del contenido guardado en la base de datos y sus plugins instalados.

Por estos motivos los generadores de sitios web estáticos al ser mucho más simples son una alternativa, el resultado final es simplemente contenido HTML, hojas de estilo CSS, imágenes, JavaScript y los recursos adicionales que necesite. Todo este contenido estático simplemente necesita de un servidor web no necesita ninguna base de datos lo que lo hace más sencillo instalar en un servidor ni ningún programa que genere el contenido HTML. Además, los generadores de sitios web estáticos permiten editar el contenido en el ordenador local con cuales quiera herramientas instaladas, como Visual Studio Code, entre otras cosas para buscar y reemplazar u aplicar otros comandos de GNU/Linux para transformar el contenidode forma masiva.

Muchos de los generadores estáticos de sitios web como Hugo usan como formato de contenido [Markdown][markdonw]. Markdown utiliza una sintaxis que procesada se convierte con posterioridad a HTML, en los archivos Markdown también puede incluirse trozos de HTML que es emitido sin ningún cambio.

Migrar un sitio web web HTML generador por Wordpress u otro a un generador estático es posible, requiere las siguientes tareas:

Recuperar todo el contenido del sitio web original. El contenido complete de un sitio web se puede descargar con un comando de wget.
Extraer la parte de contenido propio de la página o del artículo. En Java con la librería jsoup, no es complicado utilizando un selector similar a los empleados por jQuery.
Convertir el contenido HTML a Markdown, en Java ofrecen esta funcionalidad las librerías remark y MarkdownJ.

1
$ wget -r -l0 https://picodotdev.github.io/blog-bitix/

wget.sh

Migrar un sitio web HTML con Wordpress sería una tarea que requeriría mucho tiempo, más si tiene muchos artículos, si se hace manualmente copiando y pegando el texto de cada artículo, imágenes, … Creando un script la mayor parte de la tarea se automatiza, seguramente hay que hacer algunas acciones manuales pero con _wget, _jsoup, remark y un script que no tiene por que ser muy largo en líneas de código la tarea es realizable con una inversión de tiempo razonable.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<!DOCTYPE html><htmllang="es"><head><metaname="base"href="/blog-bitix/"><metahttp-equiv="content-type"content="text/html; charset=utf-8"><metaname="viewport"content="width=device-width, initial-scale=1"><metaname="author"content="picodotdev"><metaname="keywords"content="java, programacion, software, hardware, tapestry, software libre, gnu, linux, gnu/linux, unix, arch, arch linux, html, css, javascript"><metaname="description"content="Para utilizar de forma efectiva y eficiente una distribución GNU/Linux es necesario conocer las tareas básicas que hay que realizar en todo sistema. Estas son actualizar los paquetes instalados del sistema a nuevas versiones con correcciones de seguridad, correcciones de errores y mejoras, instalar y desinstalar nuevos paquetes y programas. Conocer el uso básico de la terminal permite automatizar y realizar de forma masiva algunas tareas además de también permitir actualizar el sistema e instalar y desinstalar programas. &hellip;"><title>Tareas básicas de administración y uso después de instalar una distribución GNU/Linux</title>
  ...
  <article>    <h1>Tareas básicas de administración y uso después de instalar una distribución GNU/Linux</h1>    <pclass="information">        Escrito por <span>picodotdev</span> el <time>09/02/2020</time>.      
        <br>        <ahref="/blog-bitix/tags/gnu-linux/">gnu-linux</a>        <ahref="/blog-bitix/tags/planeta-codigo/">planeta-codigo</a>      
        <br>        <ahref="/blog-bitix/2020/02/tareas-basicas-de-administracion-y-uso-despues-de-instalar-una-distribucion-gnu-linux/">Enlace permanente</a>      
        <ahref="/blog-bitix/2020/02/tareas-basicas-de-administracion-y-uso-despues-de-instalar-una-distribucion-gnu-linux/#comments">Comentarios</a>    </p>    <pclass="summary">Para utilizar de forma efectiva y eficiente una distribución GNU/Linux es necesario conocer las tareas básicas que hay que realizar en todo sistema. Estas son actualizar los paquetes instalados del sistema a nuevas versiones con correcciones de seguridad, correcciones de errores y mejoras, instalar y desinstalar nuevos paquetes y programas. Conocer el uso básico de la terminal permite automatizar y realizar de forma masiva algunas tareas además de también permitir actualizar el sistema e instalar y desinstalar programas.</p>    ...
    <p>Si has instalado recientemente o piensas instalar una distribución <ahref="https://www.gnu.org/">GNU</a>/<ahref="https://www.linux.com/">Linux</a> después de <ahref="https://picodotdev.github.io/blog-bitix/2016/10/elegir-una-distribucion-gnu-linux-segun-el-usuario-uso-o-equipo/">elegir la distribución GNU/Linux</a> que más se adapte a tus preferecias y de seguir los pasos para <ahref="https://picodotdev.github.io/blog-bitix/2017/05/descargar-e-instalar-la-distribucion-ubuntu-de-gnu-linux-paso-a-paso-desde-cero/">instalar una como Ubuntu</a>, después es necesario conocer unas pocas <ahref="https://picodotdev.github.io/blog-bitix/2020/02/tareas-basicas-de-administracion-y-uso-despues-de-instalar-una-distribucion-gnu-linux/">tareas de administración del sistema</a>, <ahref="https://picodotdev.github.io/blog-bitix/2020/02/las-aplicaciones-integradas-del-entorno-de-escritorio-gnome/">las aplicaciones del entorno de escritorio de GNOME</a> y un <em>listado de programas básicos según categoría en GNU/Linux</em>. En cada distribución varía ligeramente pero en todas hay que realizar unas tareas básicas de mantenimiento.</p>    <p>Estas tareas básicas de mantenimiento son:</p>    <ul>    <li><strong>Actualizar los paquetes instalados del sistema</strong>. Los paquetes actualizados incluyen correcciones de seguridad por lo que es importante actualizar el sistema de forma regular. También, pueden incluir nuevas versiones de los paquetes con nuevas funcionalidades y correcciones de errores. Una programa que es necesario mantener actualizado es el navegador web, también el núcleo o <em>kernel</em> de Linux.</li>    <li><strong>Instalar y desinstalar nuevos paquetes y programas</strong>. Dependiendo de las tareas que se deseen realizar hay que instalar los programas que permitan realizarlas. Para editar documentos ofimáticos, un navegador web, retocar imágenes, correo electrónico, descarga de <em>torrents</em>, reproductor de vídeo, reproductor de música, captura de imágenes, captura vídeo del escritorio, programas para el desarrollo y programación, virtualización, &hellip; Cada programa tienen su paquete en la ditribución que es necesario instalar para usarlo y desinstalar cuando el programa ya no se va a usar más. Es dificil que no encuentres un programa que realice lo que se desea.</li>    <li><strong>Uso básico de la terminal</strong>. Hay programas con interfaz gráfica pero para algunas tareas es más rápido hacerlas desde la línea de comandos con la ventaja que con un <em>script</em> es posible automatizar en caso de ser repetitiva. Desde la línea de comandos hay numerosos programas útiles que además se pueden combinar de forma que la salida de uno sea la entrada de otro.</li>    </ul>    <p>Dependiendo de la distribución cada una de estas tareas puede variar el comando en concreto pero en general en todas se realizan de forma similar. A continuación comento como realizar las tareas en dos de las distribuciones más populares como son <ahref="https://www.ubuntu.com/">Ubuntu</a> y <ahref="https://www.archlinux.org/">Arch Linux</a> pero en <ahref="https://fedoraproject.org/">Fedora</a>, <ahref="https://www.debian.org/">Debian</a>, <ahref="https://elementary.io/es/">elementary OS</a> se realizan de forma similar.</p>    ...

page.html

Descargado el sitio web la tarea del script es por cada artículo del sitio web aplicar un selector de jsoup extraer el contenido y convertirlo a Markdown con remark, también sería tarea del script mover los recursos a la ubicación que requiera el generador de sitios web estáticos del artículo como las imágenes, que el comando wget también descarga.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
packageio.github.picodotdev.blogbitix.sitemconverter;importjava.nio.file.Files;importjava.nio.file.Path;importjava.nio.file.Paths;importjava.util.stream.Collectors;importjava.util.stream.Stream;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element;importorg.jsoup.select.Elements;importcom.overzealous.remark.Remark;importcom.overzealous.remark.Options;publicclassMain{    publicstaticvoidmain(String[]args)throwsException{        Stream<Path>files=Files.walk(Paths.get("../picodotdev.github.io/"),5);        files.filter(path->path.getFileName().toFile().getName().endsWith(".html")&&path.getFileName()).forEach(path->{            try{                System.out.println(path.toString());                // Obtener el HTML de una página
                Stringhtml=Files.readString​(path);                // Contenido HTML
                System.out.println(html);                // Parsear el contenido HTML con jsoup
                Documentdocument=Jsoup.parse(html);                // Obtener los elementos de contenido de la página con selectores
                Elementsarticle=document.select("article");                // Opciones para convertir a markdown
                Optionsoptions=Options.markdown();                options.preserveRelativeLinks=true;                options.inlineLinks=true;                StringbaseUri="https://picodotdev.github.io/blog-bitix/";                // Convertir a markdown
                Stringmarkdown=newRemark(options).convertFragment(article.html(),baseUri);                // Contenido markdown
                System.out.println(markdown);            }catch(Exceptione){                e.printStackTrace();            }        });    }}

Main.java

Resultado en formato markdown.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
# Tareas básicas de administración y uso después de instalar una distribución GNU/Linux #

Escrito por picodotdev el 09/02/2020.
[gnu-linux](/blog-bitix/tags/gnu-linux/) [planeta-codigo](/blog-bitix/tags/planeta-codigo/)  
[Enlace permanente](/blog-bitix/2020/02/tareas-basicas-de-administracion-y-uso-despues-de-instalar-una-distribucion-gnu-linux/) [Comentarios](/blog-bitix/2020/02/tareas-basicas-de-administracion-y-uso-despues-de-instalar-una-distribucion-gnu-linux/#comments)

Para utilizar de forma efectiva y eficiente una distribución GNU/Linux es necesario conocer las tareas básicas que hay que realizar en todo sistema. Estas son actualizar los paquetes instalados del sistema a nuevas versiones con correcciones de seguridad, correcciones de errores y mejoras, instalar y desinstalar nuevos paquetes y programas. Conocer el uso básico de la terminal permite automatizar y realizar de forma masiva algunas tareas además de también permitir actualizar el sistema e instalar y desinstalar programas.

![GNU]()

![Linux]()

Si has instalado recientemente o piensas instalar una distribución [GNU](https://www.gnu.org/)/[Linux](https://www.linux.com/) después de [elegir la distribución GNU/Linux](https://picodotdev.github.io/blog-bitix/2016/10/elegir-una-distribucion-gnu-linux-segun-el-usuario-uso-o-equipo/) que más se adapte a tus preferecias y de seguir los pasos para [instalar una como Ubuntu](https://picodotdev.github.io/blog-bitix/2017/05/descargar-e-instalar-la-distribucion-ubuntu-de-gnu-linux-paso-a-paso-desde-cero/), después es necesario conocer unas pocas [tareas de administración del sistema](https://picodotdev.github.io/blog-bitix/2020/02/tareas-basicas-de-administracion-y-uso-despues-de-instalar-una-distribucion-gnu-linux/), [las aplicaciones del entorno de escritorio de GNOME](https://picodotdev.github.io/blog-bitix/2020/02/las-aplicaciones-integradas-del-entorno-de-escritorio-gnome/) y un *listado de programas básicos según categoría en GNU/Linux*. En cada distribución varía ligeramente pero en todas hay que realizar unas tareas básicas de mantenimiento.

Estas tareas básicas de mantenimiento son:

* **Actualizar los paquetes instalados del sistema**. Los paquetes actualizados incluyen correcciones de seguridad por lo que es importante actualizar el sistema de forma regular. También, pueden incluir nuevas versiones de los paquetes con nuevas funcionalidades y correcciones de errores. Una programa que es necesario mantener actualizado es el navegador web, también el núcleo o *kernel* de Linux.
* **Instalar y desinstalar nuevos paquetes y programas**. Dependiendo de las tareas que se deseen realizar hay que instalar los programas que permitan realizarlas. Para editar documentos ofimáticos, un navegador web, retocar imágenes, correo electrónico, descarga de *torrents*, reproductor de vídeo, reproductor de música, captura de imágenes, captura vídeo del escritorio, programas para el desarrollo y programación, virtualización, … Cada programa tienen su paquete en la ditribución que es necesario instalar para usarlo y desinstalar cuando el programa ya no se va a usar más. Es dificil que no encuentres un programa que realice lo que se desea.
* **Uso básico de la terminal**. Hay programas con interfaz gráfica pero para algunas tareas es más rápido hacerlas desde la línea de comandos con la ventaja que con un *script* es posible automatizar en caso de ser repetitiva. Desde la línea de comandos hay numerosos programas útiles que además se pueden combinar de forma que la salida de uno sea la entrada de otro.

Dependiendo de la distribución cada una de estas tareas puede variar el comando en concreto pero en general en todas se realizan de forma similar. A continuación comento como realizar las tareas en dos de las distribuciones más populares como son [Ubuntu](https://www.ubuntu.com/) y [Arch Linux](https://www.archlinux.org/) pero en [Fedora](https://fedoraproject.org/), [Debian](https://www.debian.org/), [elementary OS](https://elementary.io/es/) se realizan de forma similar.
...

index.markdown

Blog Bitix: Cómo migrar el contenido de un sitio web HTML a formato Markdown

Trending Articles

Girasoles para colorear

mayabang Quotes, Torpe Quotes, tanga Quotes

Tagalog Quotes About Crush – Tagalog Love Quotes

OFW quotes : Pinoy Tagalog Quotes

Long Distance Relationship Tagalog Love Quotes

Tagalog Quotes To Move on and More Love Love Love Quotes

5 Tagalog Relationship Rules

Best Crush Tagalog Quotes And Sayings 2017

Re:Mutton Pies (lleechef)

FORECLOSURE OF REAL ESTATE MORTGAGE

Sapos para colorear

tagalog love Quotes – Tiwala Quotes

Break up Quotes Tagalog Love Quote – Broken Hearted Quotes Tagalog

Patama Quotes : Tagalog Inspirational Quotes

Pamatay na Banat and Mga Patama Love Quotes

Tagalog Long Distance Relationship Love Quotes

BARKADA TAGALOG QUOTES

“BAHAY KUBO HUGOT”

Vimeo 10.7.0 by Vimeo.com, Inc.

Vimeo 10.7.1 by Vimeo.com, Inc.