Saltar al contenido principal

Anadir URLs

La pestana Links del Document Manager te permite anadir contenido web a tu base de conocimiento. En lugar de copiar y pegar de paginas web, BestChatBot scrapea el contenido por ti.

Metodos de scraping

BestChatBot ofrece tres formas de anadir contenido web:

URL directa

Pega una URL de una sola pagina. El bot scrapea solo esa pagina.

Sitemap

Da una URL de sitemap y BestChatBot descubre todas las paginas automaticamente.

Crawl

Introduce una URL inicial y BestChatBot recorre el sitio siguiendo enlaces para descubrir paginas.

Como anadir URLs

1

Abre Document Manager

Ve a Document Manager en el sidebar del dashboard y cambia a la pestana Links.
2

Elige tu metodo

Selecciona URL directa, Sitemap o Crawl.
3

Introduce la URL

Pega la URL en el campo. Por ejemplo:
  • Directa: https://tusitio.com/faq
  • Sitemap: https://tusitio.com/sitemap.xml
  • Crawl: https://tusitio.com/docs
4

Configura filtros de URL (opcional)

Acota que paginas se anaden usando patrones de URL. Las opciones dependen del metodo:
  • Crawl — abre Advanced options para fijar Include paths y Exclude paths. Solo se conservan las paginas que coinciden con un patron de inclusion; las que coinciden con uno de exclusion se descartan.
  • Sitemap — fija un unico URL Pattern para quedarte solo con las entradas que coinciden. Dejalo vacio para importar todas las URLs del sitemap.
Los patrones usan comodines tipo glob (*) y se comparan contra la ruta de la pagina. Por ejemplo, docs/* conserva todo bajo /docs, y */blog/* coincide con cualquier ruta de blog.
Introduce un patron por campo. Para apuntar a varias secciones distintas, lanza scrapeos separados.
5

Empieza el scrapeo

Pulsa el boton para iniciar el scrapeo. Veras el progreso a medida que se descubren y procesan paginas.
El tiempo depende del numero de paginas. Una sola tarda segundos; un crawl completo puede tardar varios minutos.
6

Reconstruye la base de conocimiento

Tras terminar el scrapeo, recuerda Reconstruir base de conocimiento para que el bot use el contenido nuevo.
Los cambios en tus URLs (scrapeos nuevos o eliminaciones) no se aplican hasta que reconstruyes. El bot sigue usando la version anterior hasta entonces.
Pestana Links con opciones Crawl, URL Directa y Sitemap y URLs scrapeadas

Limites de paginas scrapeadas

Cada plan incluye un numero de paginas que puedes anadir desde URLs. Cada URL de tu base de conocimiento cuenta para este limite, ya sea anadida como URL directa, descubierta desde un sitemap o encontrada durante un crawl.
Usa URL directa para tus paginas mas importantes primero. Deja el crawl para cuando necesites cobertura total.

Gestionar contenido scrapeado

Las paginas scrapeadas aparecen junto con documentos subidos en tu base de conocimiento. Puedes:
  • Ver la URL y la fecha de scrapeo
  • Borrar paginas scrapeadas individuales
  • Re-scrapear una URL para obtener contenido actualizado
Una fuente crawleada expandida mostrando las child URLs descubiertas, cada una en estado pendiente

Proximos pasos

Reconstruir base de conocimiento

Procesa tu contenido nuevo.

Subir documentos

Anade archivos PDF, DOCX, TXT o MD.