¿Cuál es el equivalente de Selenium de usar Google Chrome Developer Tools y hacer clic en "Copiar HTML externo" en el elemento HTML más externo?

Anteriormente, solo usaba Google Chrome y sus herramientas para desarrolladores para copiar/pegar el código HTML de un sitio web determinado.

Solo estaba usando manualmente las herramientas para desarrolladores de Google Chrome y haciendo clic con el botón derecho en la clase HTML más externa y presionando "Copiar HTML externo" y luego lo pegaba en un archivo de texto del bloc de notas y me ponía a trabajar en ello.

Pero ahora, quiero automatizar este proceso. Quiero usar Selenium para tomar el HTML.

He usado lo siguiente, pero no me dan exactamente el mismo resultado (faltan algunos elementos html internos y otras cosas) como Copiar el código HTML manualmente usando Google Chrome Developer Tools y mi mouse:

driver.page_source,
driver.execute_script("return document.documentElement.outerHTML")

¿Alguna otra idea?

Editar: más detalles si ayuda: el contenido que quiero que falta en mi captura de Selenium probablemente se cree dinámicamente (y se obtenga de otra fuente y se actualice diariamente) ... no está codificado en el sitio web en sí.

En mi captura manual de Herramientas para desarrolladores de Google, puedo ver el contenido que quiero. En mi captura de Selenium, veo lo que creo que es Javascript, escrito entre etiquetas html "".

Answer

¿Intentaste usar Beautiful Soup ? Es un raspador que toma todo el HTML de una página y luego puede seleccionar elementos como con Selenium. Pero no puede navegar por la página para activar JS o hacer clic en los botones.

También puedes probar

driver.find_element_by_tag_name('html').get_attribute('outerHTML')