Scrapy and postgrestrabajos

Hola , tengo una base de datos con 300 tablas en POSTGRES SQL, quiero hacerla backend en .Net , solo para persona que sepan español .

...pagina web desde la plataforma HUBSPOT el cual imparte plantillas de páginas web codeless, queremos diseñar una página web desde cero para poder incluir en él un código de web scraping y extraer link de afiliados de cursos y capacitaciones de HOTMART, UDEMY, amazon books y busca libre books (queremos extraer imagenes, titulos descripcion de cursos libros y links de afiliación) framework django y scrapy en cuanto al web scraping (todo con python) - Link de pagina codeless ( ) es casi lo mismo pero con ciertas modificaciones. Descripción de la página: 1) En la imagen n° 1 adjuntada aparece la cabecera de la página, queremos que donde dice bull investing en negro este a lo largo de la cabecera, pero en vez de ir en...

...programación Python para desarrollar una aplicación que automatice respaldos completos de bases de datos Postgres. Descipción del Proyecto: * La aplicación deberá automatizar respaldos completos de nuestras bases de datos Postgres. Los respaldos deben ser programados y ejecutados automáticamente, sin ninguna intervención directa. * Programación de la transferencia automática de estos respaldos a un servidor FTP inmediatamente después de cada respaldo completo. La aplicación debe ser capaz de establecer una conexión segura con el servidor FTP y asegurarse de que las copias de seguridad se transfieran correctamente. Competencias y experiencia requerida: * Experiencia en trabajar con bases ...

...Python. Do you have one script already coded and working? I will purchase it Please, read to the end before bidding. Project must be delivered in 3 days as much. Specifications: 1. It must scrape companies data from Google Maps, including email. Therefore, the spider must visit the website and search for the email. 2. It must be coded in Python + scrapy (or another option if it offers better performance). 3. It must use a proxy service to avoid being blocked. No APIs. No third parties but proxy provider. 4. It must have a web interface that allows importing search terms (or copy + paste), configure proxies API and starting tasks. 5. Data will be saved in a MySQL table. 6. All available data must be collected: Name, address, zip, city, longitude and l...

Descripción: Buscamos un programador freelance especializado en web scraping para desarrollar varios scrapers que nos ayuden a constru...teléfono. Requisitos: Experiencia demostrable en web scraping y manejo de datos. Capacidad para identificar y sortear posibles bloqueos anti-scraping. Conocimiento de leyes de protección de datos y privacidad. Habilidad para limpiar y organizar datos en formatos utilizables (CSV, Excel, bases de datos SQL, etc.). Proficiencia en al menos uno de los siguientes lenguajes: Python (BeautifulSoup, Scrapy), JavaScript (Puppeteer, Cheerio) o similares. Entregables: Código fuente de los scrapers desarrollados. Documentación básica sobre cómo utilizar y mantener los scrapers. Base de datos inicial con los ...

Necesitamos un perfil para: - Entender los requisitos, plazos y recursos que disponemos para un desarrollo - Preparar, junto con PM, las soluciones de desarrollo propuestas (lógica de negocio, pantallas, arquitectura y tiempos estimados de desarrollo) - Coordinar equipo de desarrollado...desarrollador, pero sí conocer ecosistema para poder coordinar y supervisar equipo de desarrollo mobile) Experto en UNIX-based OS. No Mac, no Windows (importante). ssh, acceso a servidores y operaciones normales testing Tecnología indispensable: Indispensables las siguientes tecnologías: Python Django, DRF JS/TS Tecnologías que usemos en 3A JS/TS React, NextJS, Backend JS/TS BBDD más comunes: Postgres y similares MongoDB Redis o equivalente Caching y proxys ...

Buscamos un freelancer capaz de realizar investigación de datos y scraping web para desarrollar una base de datos exhaustiva de institutos de cursos en toda Latinoamérica. Tareas a Realizar: Investigar en Internet y recopilar información detallada de institutos de cursos. Crear una hoja de cálculo bien organizada...una hoja de cálculo bien organizada que incluya: Nombre del Instituto, Email de Contacto, pais, y Teléfono. Utilizar técnicas de scraping web para agilizar la recolección de datos, manteniendo un alto estándar de precisión y calidad de la información. Habilidades Requeridas: Experiencia en investigación en Internet y recolección de datos. Conocimientos en scraping web (Python, Beautiful...

Migrar un proyecto desarrollado en PHP 5 con Postgres a una plataforma PHP 7/8 con MariaDB

La plat...del Windows o descarga por herramientas o complementos del navegador. - La plataforma debe tener herramientas de administrador en el cual se pueda generar usuarios para las personas que llevan el curso, acceso a los instructores y herramientas de pago para los diferentes módulos de los cursos (Tarjetas de crédito, pago efectivo, etc) - La plataforma debe de trabajar con gestor de base de datos (postgres) y debe estar almacenado en un servidor, se quiere que el especialista tenga experiencia en plataformas educativas y que pueda generar soporte durante y después de la elaboración de dicha plataforma. - La plataforma web debe ser dinámica y tener diferentes perfiles (cliente, instructor, administrador, technical support), el desarrollo incl...

...del Windows o descarga por herramientas o complementos del navegador. - La plataforma debe tener herramientas de administrador en el cual se pueda generar usuarios para las personas que llevan el curso, acceso a los instructores y herramientas de pago para los diferentes módulos de los cursos (Tarjetas de crédito, pago efectivo, etc) - La plataforma debe de trabajar con gestor de base de datos (postgres) y debe estar almacenado en un servidor, se quiere que el especialista tenga experiencia en plataformas educativas y que pueda generar soporte durante y después de la elaboración de dicha plataforma. - La plataforma web debe ser dinámica y tener diferentes perfiles (cliente, instructor, administrador, technical support), el desarrollo incluye c&o...

Quiero desarrollar una aplicacion en Angular 15-16 para visualizar documentos de la empresa, por parte de mis trabajadores, el Backend debe estar desarrollado en Laravel 9-10, y la base de datos en Postgres 15-16, necesito un fullstack que pueda cumplir con los requerimientos, que dejo establecidos en el documento que adjunto, y me envie su propuesta economica y tiempo de desarrollo.

...que dentro de ella se haga un cuestionario de preguntas de 1 al 5 para seleccionar y se guarde y luego haya un boton donde al presionarlo internamente en la logica consuma una API de machine learning hecho en Jupyter para finalmente en una siguiente ventana de la aplicación muestre los resultados de la API. La aplicación debe estar en angular para el front, spring boot para el back end, utilice postgres para base de datos....

Es un portal más bien funcional que estético que tiene versión en español y chino. es por esto que buscamos un desarrollador full stack que tenga conocimientos en: servidor aws ec2, bd en postgres, nodejs, react, material-ui v4 A continuación una breve descripción del requerimiento desarrollar: El objetivo de este requerimiento es crear un módulo web en donde los proveedores externos Chinos de la empresa WS Cargo puedan ingresar (usando un identificador único relacionado a sus clientes) y registrar sus productos a despachar, subir la documentación, imprimir las etiquetas de estos, proveer información necesaria para ejecutar el servicio y conectar esta información con el ERP propio de WS Cargo y el portal ...

Considerar pequeños ajustes del requerimiento en la última versión del archivo "OP-28 Portal proveedores_V2". Es un portal más bien funcional que estético que tiene versión en español y chino. es por esto que buscamos un desarrollador full stack que tenga conocimientos en: servidor aws ec2, bd en postgres, nodejs, react, material-ui v4 A continuación una breve descripción del requerimiento desarrollar: El objetivo de este requerimiento es crear un módulo web en donde los proveedores externos Chinos de la empresa WS Cargo puedan ingresar (usando un identificador único relacionado a sus clientes) y registrar sus productos a despachar, subir la documentación, imprimir las etiquetas de estos...

...El scrapper debe ser capaz de navegar por las páginas del sitio web del proveedor, recopilando los datos de los productos y sus combinaciones, y almacenándolos en dos archivos CSV separados: uno para la tabla de productos y otro para la tabla de combinaciones del producto. Tecnologías requeridas: Python (preferiblemente la versión 3.x) Bibliotecas de web scraping (por ejemplo, BeautifulSoup o Scrapy) Manejo de solicitudes HTTP y análisis de HTML Manipulación y escritura de archivos CSV Requisitos adicionales: El scrapper debe ser eficiente y optimizado para extraer los datos en un tiempo razonable. El código debe estar correctamente comentado para facilitar futuras modificaciones. Entregables: Código fuente del scrapper ...

...logísticos en España, incluyendo su nombre, dirección y ubicación en google maps. La información recopilada debe ser utilizada para crear listas en Google Maps para cada operador logístico que muestren la ubicación de los puntos de conveniencia en cada provincia de España. El desarrollador seleccionado deberá tener experiencia en web scraping y estar familiarizado con herramientas como BeautifulSoup, Scrapy o Selenium. Además, se espera que el desarrollador tenga conocimientos básicos de bases de datos y análisis de datos. Se proporcionará más información sobre los operadores logísticos específicos que deben ser incluidos en el proyecto una vez que se haya sele...

Se requiere desarrollar modulo contabilidad desde cero con microservicios de la parte del banckend con java , spring y de la parte del frontend con angular 9, bd postgres, con docker, ubuntu en linux. Se requiere que el programador tenga experiencia en desarrollo de este tipo de sistemas para que sea mas practico el explicar las funcionalidades que debe tener dicho sistema. Ademas la persona que aplique debe dominar el idioma español para asi mantener comunicacion efectiva

...requerida: Punto final del zócalo: wss://,orderBookL2_25:XBTUSD Para referencia: API WEB: !/Announcement/Announcement_get Presentar los datos de forma legible por humanos (ReactJS/Blazor/Etc) Almacene los registros recibidos de la conexión en una base de datos SQL Server/MariaDB/MongoDB/Postgres/ En una sección separada de la solución, proporcione una forma de buscar o filtrar los resultados almacenados en la base de datos de su elección ordenados por fecha en orden descendente, tal vez pueda agregar cualquier tipo de filtro aquí también. Esta prueba evaluará: Capacidades de consumo de Web Socket/API Conocimiento de la integración de API entre bases de datos/API También mostrará capacidades

Tengo una conexión, desde una base de datos postgres a powerBi en desktop funciona muy bien, pero cuando deseo publicar el reporte en la web, me aparece un error en un certificado a la hora de actualizar el conjunto de datos y no me deja ver el informe (esto solamente sucede en powerbi en linea). estuve leyendo pero no entiendo muy bien.

He estado haciendo un desarrollo en PHP, pero lo quiero en Angular con sprintboot y la base de dato esta en postgres ya desarrolladas. adjunto muestro el diseño de las pantallas.

Actualmente tenemos un proyecto desarrollado con Python y Scrapy en el que tenemos una serie de actividades de las que hay que extraer cierta información en una página web haciendo scraping. Para ello primero se detecta el nº de registros totales en la primera página y posteriormente el nº de paginas. De cada página se obtiene un determinado nº de enlaces fijo, excepto en la última página que puede tener ese nº o menos. Esto es lo que llamo nivel 1. El nivel 1 hay que ejecutarlo varias veces ya que la página web en cuestión va rotando los enlaces en cada página, y después de una rotación no tiene porque haberse obtenido todos los enlaces. En el nivel 2 con todos los enlaces obtenidos obt...

Actualmente tenemos un proyecto desarrollado con Python y Scrapy en el que tenemos una serie de actividades de las que hay que extraer cierta información en una página web haciendo scraping. Para ello primero se detecta el nº de registros totales en la primera página y posteriormente el nº de paginas. De cada página se obtiene un determinado nº de enlaces fijo, excepto en la última página que puede tener ese nº o menos. Esto es lo que llamo nivel 1. El nivel 1 hay que ejecutarlo varias veces ya que la página web en cuestión va rotando los enlaces en cada página, y después de una rotación no tiene porque haberse obtenido todos los enlaces. En el nivel 2 con todos los enlaces obtenidos obt...

Se tiene una aplicación web (php + postgres) en una instancia EC2 de AWS, se requiere implementar y configurar el WAF para proteger la aplicación principalmente de sql injection y web shell. También se requiriere una asesoría en cuento a costos de amazon.

Se requiere desarrollar modulo contabilidad desde cero con microservicios de la parte del banckend con java , spring y de la parte del frontend con angular 9, bd postgres, con docker, ubuntu en linux. Se requiere que el programador tenga experiencia en desarrollo de este tipo de sistemas para que sea mas practico el explicar las funcionalidades que debe tener dicho sistema. Ademas la persona que aplique debe dominar el idioma español para asi mantener comunicacion efectiva

Me gustaria que me puedan desarrollar un ChatBot basado en Inteligencia Artificial (Python, tensorflow, etc.), que la misma pueda responder preguntas y permita consultar y registrar datos en una base de datos en Mysql o Postgres por ejemplo (consultar documento de identidad, permitir registrar por ejemplo fechas como agendamiento en una tabla de la base de datos. El chatBot pueda ser consumida con una API desde un HTML a travez de envios por Jquery. o similar. No requiere de alta complejidad solo lo basico segun lo mencionado. Dispongo de un proyecto desarrollado pero no terminado exactamente como lo mencione. Pero se puede desarrollar de cero mejor. La idea general es que el ChatBot pueda por ejemplo agendar una cita de un usuario segun el tipo de medico que tambien le debe listar ...

Instalación, Configuració...configurada con versiones actualizadas de OpenJDK (ver 11), Tomcat (ver 9) y core de axelor 6.1 B. La implementación incluye: 1. Configuración de la aplicación via CD/CI (continuos deployment). Sincronizar el Repositorio, generar los piplines y ejecutarlos en el entorno de produccion (Proyectos p0 y pro del cliente). 2. Creación y Configuracion de la Instancia de Base de atos CloudSQL para Postgres ver 9.6 o mayor si es posible 3. Creacion y configuracion de un Balanceador de Cargas HTTPS (certificados, Backend, frontend) con el dominio personalizado del cliente C. Ajustes finales de seguridad para obtener Rating A+ en términos de directivas de seguridad (Security Headers) y del certificado HTTPS (de...

Tengo una base de datos en postgres y requiero conectar con una bd de mongodb atravez de Foreign Data Wrappers (FDWs), requiero que manera automatica sincronice todas las colecciones de mongo en mi base de datos postgres.

Tenemos un proceso que esta haciendo ataques de fuerza bruta a otros servidores. Por cosas de tiempo nosotros no lo tenemos para poder solucionar el problema. Necesitamos a alguien que revise el servidor (que SI ESTA en produccion) y buscar y eliminar lo que esta causando los ataques de fuerza bruta a otros servidores de la red del ahora por cosas de productividad ten...problema. Necesitamos a alguien que revise el servidor (que SI ESTA en produccion) y buscar y eliminar lo que esta causando los ataques de fuerza bruta a otros servidores de la red del ahora por cosas de productividad tenemos cerrados todos los puertos excepto por el 22, 5432 y 8069 ya que se ocupan para poder funcionar con el sistema instalado. En el servidor esta instalado Odoo v11 y Postgres 10

Hola. Mi nombre es Liliana, actualmente estoy realizando mi residencia profesional en una empresa de caja de ahorro. Con el proyecto de un sistema web para el área de auditoría, el tiempo me esta ganando y necesito un asesor para poder terminar el proyecto. Estoy utilizando framework Laravel, DB postgres, php. Trabajando en Visual Studio Code y gestor Xampp. Ya llevo una parte del proyecto, sin embargo, en este momento me encuentro atorada con lo de las bases de datos. Ojala pudieras apoyarme, espero tu respuesta. Gracias.

Transferir las tablas de clientes, proveedores, productos y también todas las tablas relacionadas por llaves foráneas para poder crear los registros sin inconvenientes, de la versión compatible de postgres con OpenERP V6 a la V14-alpine compatible con Odoo V15. La tabla de clientes y proveedores () tiene alrededor de 4136 registros y cuenta con 91 columnas, de las cuales, 14 son llaves foráneas y 1 es la llave primaria (id). La tabla de productos () tiene alrededor de 3550 registros y cuenta con 28 columnas, de las cuales, 4 son llaves foráneas y 1 es la llave primaria (id). Este ETL debe estar en uno o varios archivos py (se deja a consideración) y finalmente, debe tomarse en cuenta que es un proceso que va a ejecutarse continuamente por ...

Transferir las tablas de clientes, proveedores, productos y también todas las tablas relacionadas por llaves foráneas para poder crear los registros sin inconvenientes, de la versión compatible de postgres con OpenERP V6 a la V14-alpine compatible con Odoo V15. La tabla de clientes y proveedores () tiene alrededor de 4136 registros y cuenta con 91 columnas, de las cuales, 14 son llaves foráneas y 1 es la llave primaria (id). La tabla de productos () tiene alrededor de 3550 registros y cuenta con 28 columnas, de las cuales, 4 son llaves foráneas y 1 es la llave primaria (id). Este ETL debe estar en uno o varios archivos py (se deja a consideración) y finalmente, debe tomarse en cuenta que es un proceso que va a ejecutarse continuamente.

Diseño de una interfaz de usuario con Primefaces 11.0 y css, el proyecto en general está desarrollado en javaEE, servidor de aplicaciones Wildfy 24.0 y Postgres 14.0 como base de datos, solo necesitamos el diseño de la interfaz de acuerdo a la imagen que se adjunta.

Tenemos una aplicación que sincroniza productos de varios proveedores con una tienda Jumpseller. Estamos migrando a VTEX y necesitamos cambiar la aplicación para que sincronice los productos y stock con la nueva plataforma. El proyecto esta desplegado en un servidor de AWS con SO Ubuntu donde tenemos un container Docker con un servidor de Postgres, un servidor Nginx y los distintos providers ejecutando como servicios independientes. La integración con VTEX se hace mediante APIs. La aplicación tiene un componente que procesa la información de los proveedores (eso no se modifica), esta información se debe enviar a los servicios que corresponden en VTEX (tenemos la lista de APIs y el orden de llamado)

Necesito una plataforma donde las personas puedan ingresar y comprar el informe o el listado de propiedades con el raspado en los diferentes portales inmobiliarios en el país. La idea es que cuando las personas hagan una búsqueda en mi plataforma, puedan encontrar todas las opciones de los demás portales inmobiliarios, de esa manera puedan ver todas las opciones en mi plataforma. Que el cliente ingrese y la plataforma haga el raspado y el pueda ver esa información según su búsqueda, que por ejemplo aparezcan todos los departamentos de 1 dormitorio y un 1 baño de una zona en especifico y así el pueda elegir la mejor opción. A su vez , que los corredores de propiedades también puedan usar esta información para sa...

Hola hola! quisiera cotizar una persona que pueda desarrollar una plataforma de Scrapy Web para poder encontrar datos de propiedades en todos los portales disponibles según el país. Quisiera que las personas si buscan por ejemplo un departamento de 1 dormitorio y 1 baño, este software les pueda entregar alternativas de las más económicas por ejemplo del raspado de otros portales. La idea es que a compradores y corredores de propiedades, les pueda cobrar una membresía mensual, por obtener esta información, la cuál les podría hacer ahorrar millones de pesos y a los corredores les permitiría ofrecer un mejor servicio para sus clientes, ya que podrán encontrar más fácil los requerimientos que le...

Se requiere programador para desarrollar modulos en cuanto a un sistema de gestion, se requiere que el programador tenga experiencia en las siguientes tecnologias: java con spring boot, angular 9, linux con ubuntu, bd postgres. Ademas el programador debe dominar el idioma español para que la comunicacion sea fuida y su comprension sea a plenitud.

Hola Manuel! estoy haciendo una red social. las funcionalidades son un chat (websockets) para escribirte con la gente que segun la DB (postgres) es afin a vos y despues una parte de "ruleta telefonica" para hablar con alguien al azar de la base de datos que funciona con webRTC tengo mucho hecho ya, pero no soy developer y necesito alguien que lo termine cuando quieras podemos hablar y te muestro un poco el código asi vemos como seguir. Saludos! Hernan

Se requiere programador para desarrollar modulos en cuanto a un sistema de gestion, se requiere que el programador tenga experiencia en las siguientes tecnologias: java con spring boot, angular 9, linux con ubuntu, bd postgres, ademas el programador debe dominar el idioma español para que la comunicacion sea fuida y su comprension sea a plenitud.

Se requiere editar una api rest de un proyecto que maneja django+apirest+celery+postgres Se deben agregar filtros a la api actual

Tenemos una aplicación que genera datos, los clientes piden informes diferentes y estamos teniendo problemas para desarrollar cada informe, nos gustaría saber que herramientas son las adecuadas para solucionar y permitir la creación de informes o reportes de...diferentes y estamos teniendo problemas para desarrollar cada informe, nos gustaría saber que herramientas son las adecuadas para solucionar y permitir la creación de informes o reportes de forma escalable y que facilite el mantenimiento. la solución debe poder integrase a una aplicación web o ofrecer alguna forma en los usuarios puedan ver la información. Tecnologías con las que la app trabaja: postgres html javascript python Objetivos: Conseguir consultor&iacu...

Hola Diego, Estoy buscando un programador Python para realizar Web Scraping mediante Scrapy. Me gustaría hablar contigo sobre el proyecto para ver si lo ves viable.

Se requiere programador para desarrollar modulos en cuanto a un sistema de gestion, se requiere que el programador tenga experiencia en las siguientes tecnologias: java con spring boot, angular 9, linux con ubuntu, bd postgres, ademas el programador debe dominar el idioma español para que la comunicacion sea fuida y su comprension sea a plenitud.

tengo mi proyecto listo y creo tenerlo enlazado a la base de datos pero necesito la parte del despliegue

Deseamos configurar y crear un Data Lake en Microsoft Synapse con base en una arquitectura diseñada y una base de datos de Postgres que ya estamos alimentando continuamente

Se debe construir una base de datos en postgres a partir de varios archivos de excel, a su vez se deben construir las interfaces en php 7.x para consultar los datos suministrados, se deben entregar los script sql y php del proyecto. Se adjuntan mockup de ejemplo (no necesariamente debe ser igual se reciben sugerencias). Por parámetro POST se envía el numero del contrato y la aplicación debe devolver los registros respectivos en la interfaz. Para la construcción de la interfaz se requiere usar las librerías de bootstrap

Formo parte de una empresa de desarrollo de software que trabaja con programadores alrededor del mundo y buscamos desarrollador mobile que tenga conocimientos en: -Flutter (preferencia) -react Js / Native -python (DJANGO - FLASK) -postgres -Aws

Hola Jose Alejandro. Estoy buscando a alquien para desarrollar spiders en Scrapy para extraer apartamentos de alquiler. En principio tu perfil me encaja con lo que estoy buscando. Si te interesa me gustaría hablar mas en detalle por el chat. Un Saludo.

Hola Yago. Estoy buscando a alquien para desarrollar spiders en Scrapy para extraer apartamentos de alquiler. En principio tu perfil me encaja con lo que estoy buscando. Si te interesa me gustaría hablar mas en detalle por el chat. Un Saludo.

Hola Javier. Estoy buscando a alquien para desarrollar spiders en Scrapy para extraer apartamentos de alquiler. En principio tu perfil me encaja con lo que estoy buscando. Si te interesa me gustaría hablar mas en detalle por el chat. Un Saludo.

Se tiene un script php, este recoje los campos de un formulario html y los inserta en varias tablas de una base de datos postgres. Se requiere migrar este script para que recoja los valores de los campos y los inserte en varias tablas de una base de datos sql server. El script debe ser compatible para php 7.x. Se entrega el script php actual, el desarrollador debe disponer de una base de datos sql server para las pruebas pertinentes. Se adjunta script PHP, se deben ajustar todas las sentencias SQL.