Como resolver o desafio do Cloudflare para o monitoramento de preços de imóveis

TL;DR

• Use os índices de preços oficiais, conjuntos de dados de transações públicas, feeds de listagem licenciados e APIs de parceiros antes da coleta de páginas autorizadas.
• Separe o preço de venda, preço vendido, aluguel, estimativa de avaliação e preço por área; nunca compare medidas diferentes.
• Quando um desafio Cloudflare suportado interromper uma falha de página aprovada, use AntiCloudflareTask com um proxy estático ou fixo e um agente do usuário Chrome consistente.
• Mantenha cf_clearance, credenciais de proxy e conteúdo bruto da página em armazenamento de curta duração, não em analytics ou contexto do modelo.
• Alerte apenas sobre mudanças confirmadas e comparáveis e mantenha fonte, horário, versão do parser e hash da evidência para auditoria.

Introdução

O monitoramento de preços de imóveis é confiável apenas quando cada observação tem um significado e origem claros. O preço de venda de uma lista não é uma venda registrada, uma avaliação automática não é uma transação e um índice de mercado não pode ser tratado como uma cotação por imóvel. A melhor pipeline começa com conjuntos de dados oficiais e feeds licenciados, normaliza a identidade do imóvel e o tipo de preço e usa páginas públicas autorizadas apenas para lacunas definidas. Se um desafio Cloudflare suportado substituir uma página de lista esperada, o CapSolver pode fornecer um passo de recuperação controlado, mas o fluxo de trabalho deve preservar seu proxy, agente do usuário Chrome, escopo de cookies e política de fonte. Este guia abrange a hierarquia de fontes de dados, o esquema de observação, as regras de comparabilidade, a detecção de desafio, AntiCloudflareTask, recuperação de sessão de curta duração, confirmação de mudança de preço, controles de qualidade e uso responsável.

Defina a Pergunta de Preço

Um trabalho de monitoramento de imóveis deve especificar o sinal exato que ele precisa. Exemplos incluem:

• O preço de venda para uma lista ativa conhecida mudou?
• Uma venda registrada apareceu para um identificador de parcela ou título?
• O aluguel para um tipo de unidade definido mudou?
• O índice de mercado se moveu após uma nova publicação?
• O status de um imóvel mudou de ativo para pendente ou vendido?

Não colapse essas perguntas em um único campo genérico price.

monitoring_job = {
    "canonical_property_id": "prop_83f12",
    "market": "US-CA-San-Francisco",
    "source_priority": [
        "official_transaction_dataset",
        "licensed_listing_feed",
        "partner_api",
        "authorized_public_page",
    ],
    "price_types": ["ASKING_SALE", "RECORDED_SALE"],
    "alert_rules": {
        "asking_change_percent": 3.0,
        "status_changes": ["ACTIVE_TO_PENDING", "PENDING_TO_SOLD"],
    },
}

O blog de raspagem de web do CapSolver aborda padrões de pipeline de dados relacionados, e a FAQ de raspagem de web do CapSolver fornece orientação operacional para coleta de dados públicos autorizados.

Use uma Hierarquia de Fontes

Dados oficiais e licenciados devem ser a camada principal. O House Price Index da Agência Federal de Habitação de Finanças dos EUA é uma coleção pública de índices de vendas repetidas cobrindo vários níveis geográficos. Ele é valioso para benchmarks de mercado, mas não é um feed de listagem por imóvel.

Para dados de transação registrados, use o registro de terra, registrador ou provedor licenciado apropriado. Os Price Paid Data do governo do Reino Unido é um exemplo de conjunto de dados de transação oficial. APIs de listagem múltipla licenciadas ou portais podem fornecer observações atuais de preço de venda e status sob seus próprios contratos.

A coleta de navegador deve ser um recurso para uma lacuna de dados documentada, não uma substituição para um feed licenciado disponível.

Construa uma Identidade de Imóvel Comparável

A identidade do imóvel é difícil porque os endereços mudam de formato, as unidades podem ser omitidas e um prédio pode conter muitas parcelas.

from dataclasses import dataclass

@dataclass(frozen=True)
class PropertyIdentity:
    canonical_property_id: str
    country: str
    administrative_area: str
    locality: str
    postal_code: str
    street_number: str
    street_name: str
    unit: str | None
    parcel_id: str | None
    latitude: float | None
    longitude: float | None

Correlacione os registros com cuidado. Identificadores de parcela ou título são mais fortes que endereços normalizados; identificadores exatos de unidade são mais fortes que coordenadas de nível de prédio. Direcione correspondências ambíguas para revisão.

O guia de dados web com Python do CapSolver oferece contexto de implementação para pipelines de extração estruturada.

Armazene Tipo de Preço e Evidência

from dataclasses import dataclass, field
from datetime import datetime, timezone

@dataclass
class PriceObservation:
    canonical_property_id: str
    source: str
    source_record_id: str | None
    source_url: str | None
    price_type: str
    amount: float
    currency: str
    area_value: float | None
    area_unit: str | None
    status: str | None
    market: str
    evidence_hash: str
    parser_version: str
    observed_at: str = field(
        default_factory=lambda: datetime.now(timezone.utc).isoformat()
    )

Use um vocabulário de tipo de preço controlado:

PRICE_TYPES = {
    "ASKING_SALE",
    "RECORDED_SALE",
    "ASKING_RENT_MONTHLY",
    "VALUATION_ESTIMATE",
    "PRICE_PER_AREA",
    "MARKET_INDEX",
}

Nunca compare ASKING_SALE diretamente com RECORDED_SALE ou VALUATION_ESTIMATE. Preserve moeda e unidades de área.

Detecte um Desafio Cloudflare Antes da Análise

Um desafio pode retornar uma página intermediária em vez da página de imóvel esperada. Não interprete seletores de preço ausentes como deslistagem ou valor zero.

async def classify_property_page(page, expected_selector: str) -> str:
    if await page.locator(expected_selector).count():
        return "PROPERTY_PAGE"

    title = (await page.title()).strip().lower()
    html = (await page.content()).lower()

    if "just a moment" in title:
        return "CLOUDFLARE_CHALLENGE"
    if "challenge-platform" in html or "cf-chl-" in html:
        return "CLOUDFLARE_CHALLENGE"
    if "listing no longer available" in html:
        return "LISTING_UNAVAILABLE"
    return "UNKNOWN_PAGE"

Mantenha fixtures específicos da fonte. Um marcador genérico é uma dica de roteamento, não prova de que cada alvo pode ou deve ser recuperado.

A página de produto Cloudflare do CapSolver descreve o serviço suportado, e o blog Cloudflare do CapSolver contém orientação adicional de implementação.

Use a Tarefa Oficial de Desafio Cloudflare

A documentação de desafio Cloudflare do CapSolver define AntiCloudflareTask.

A solução pode conter cf_clearance, token e agente do usuário. Esses são valores de tempo de execução de curta duração, não dados de imóvel.

A documentação de desafio da Cloudflare explica o papel dos mecanismos de desafio. A capacidade de recuperação não muda permissões de fonte ou limites contratuais.

Resolva a Políticas de Fonte Antes de Criar uma Tarefa

import os
from urllib.parse import urlparse

SOURCE_POLICY = {
    "approved-listings.example": {
        "purpose": "asking-price-validation",
        "proxy_profile": "property_us_west",
        "max_checks_per_hour": 2,
    },
}

PROXY_VAULT = {
    "property_us_west": os.environ["PROPERTY_PROXY_US_WEST"],
}


def approved_source(url: str) -> dict:
    host = urlparse(url).hostname
    policy = SOURCE_POLICY.get(host)
    if not policy:
        raise PermissionError("Fonte de imóvel não é aprovada")
    return policy

A URL de destino deve vir de um registro de fonte registrado, não de texto livre fornecido por modelo ou usuário em um agendador de produção.

Crie AntiCloudflareTask

import capsolver

capsolver.api_key = os.environ["CAPSOLVER_API_KEY"]


def solve_property_page_challenge(
    url: str,
    chrome_user_agent: str,
    fresh_html: str = "",
) -> dict:
    policy = approved_source(url)
    proxy = PROXY_VAULT[policy["proxy_profile"]]

    task = {
        "type": "AntiCloudflareTask",
        "websiteURL": url,
        "proxy": proxy,
        "userAgent": chrome_user_agent,
    }
    if fresh_html:
        task["html"] = fresh_html

    solution = capsolver.solve(task)
    cookies = solution.get("cookies") or {}
    clearance = cookies.get("cf_clearance") or solution.get("token")
    if not clearance:
        raise RuntimeError("Solução de desafio Cloudflare incompleta")

    return {
        "cookies": cookies,
        "user_agent": solution.get("userAgent") or chrome_user_agent,
        "proxy_profile": policy["proxy_profile"],
    }

Use um proxy estático ou fixo e o preserve para a solicitação inicial, criação da tarefa e recuperação da página. Não coloque credenciais de proxy em logs.

Continue com a Mesma Identidade de Solicitação

A documentação oficial do CapSolver exige um cliente de solicitação com TLS e detalhes de sessão consistentes. Mantenha essa implementação dentro de um adaptador de fonte testado.

async def recover_property_document(
    source_adapter,
    url: str,
    challenge_html: str,
    user_agent: str,
) -> str:
    solution = solve_property_page_challenge(
        url=url,
        chrome_user_agent=user_agent,
        fresh_html=challenge_html,
    )

    response = await source_adapter.fetch_with_session(
        url=url,
        proxy_profile=solution["proxy_profile"],
        user_agent=solution["user_agent"],
        cookies=solution["cookies"],
    )

    if response.status_code != 200:
        raise RuntimeError("Solicitação recuperada não retornou HTTP 200")
    if "challenge-platform" in response.text.lower():
        raise RuntimeError("Desafio permaneceu após um tentativa de recuperação")
    return response.text

fetch_with_session é um adaptador de propriedade da aplicação que usa o perfil TLS aprovado. Ele não deve expor cookies, valores de proxy ou cabeçalhos para analytics.

Analise o Preço com um Adaptador de Fonte

Páginas públicas variam. Use um adaptador por fonte aprovada com seletores explícitos e verificações semânticas.

from decimal import Decimal, InvalidOperation

class SourceAdapter:
    source_name = "approved-listings"
    parser_version = "2026-08-28.1"

    def parse_asking_price(self, document) -> dict:
        raw = document.select_one('[data-testid="asking-price"]')
        if raw is None:
            raise ValueError("Campo de preço de venda não encontrado")

        currency = raw.get("data-currency")
        amount_text = raw.get("data-amount")
        try:
            amount = Decimal(amount_text)
        except (InvalidOperation, TypeError):
            raise ValueError("Valor de preço de venda inválido")

        if amount <= 0 or not currency:
            raise ValueError("Observação de preço de venda incompleta")

        return {
            "price_type": "ASKING_SALE",
            "amount": float(amount),
            "currency": currency,
        }

Não trate uma estimativa de marketing, ilustração de hipoteca mensal ou preço "a partir de" como preço de venda.

Normalize Observações Comparáveis

from decimal import Decimal


def comparable(left: PriceObservation, right: PriceObservation) -> bool:
    return all([
        left.canonical_property_id == right.canonical_property_id,
        left.price_type == right.price_type,
        left.currency == right.currency,
        left.market == right.market,
    ])


def percentage_change(previous: float, current: float) -> float:
    if previous <= 0:
        raise ValueError("Preço anterior deve ser positivo")
    return float(
        (Decimal(str(current)) - Decimal(str(previous)))
        / Decimal(str(previous))
        * 100
    )

Se a área mudar, uma unidade for adicionada ou uma lista for relistada sob uma identidade de imóvel diferente, exija revisão em vez de relatar uma movimentação de preço falsa.

Confirme Mudanças de Preço

Uma observação única pode ser ruidosa. Use confirmação repetida ou corroboração de fonte.

def confirmed_price_change(
    observations: list[PriceObservation],
    threshold_percent: float,
) -> dict | None:
    if len(observations) < 3:
        return None

    baseline, first_new, second_new = observations[-3:]
    if not comparable(baseline, first_new):
        return None
    if not comparable(first_new, second_new):
        return None
    if first_new.amount != second_new.amount:
        return None

    change = percentage_change(baseline.amount, second_new.amount)
    if abs(change) < threshold_percent:
        return None

    return {
        "event": "CONFIRMED_PRICE_CHANGE",
        "previous": baseline.amount,
        "current": second_new.amount,
        "currency": second_new.currency,
        "change_percent": round(change, 2),
    }

Para conjuntos de dados de transação, use o horário de publicação da fonte e política de revisão em vez de confirmação repetida do navegador.

Mantenha a Infraestrutura e Sinais de Mercado Separados

Nunca converta um desafio, timeout ou erro de parser em um preço de zero ou status de deslistado.
A Perguntas frequentes sobre erros do CapSolver fornece categorias de diagnóstico, e a blog de automação do CapSolver aborda padrões de recuperação relacionados.

Código de bônus: Use o código WEBS no Painel do CapSolver para obter um bônus adicional de 5% em cada recarga.

Controles de Produção

Use a página de produtos do CapSolver para revisar categorias suportadas e a Perguntas frequentes sobre resolução de CAPTCHA do CapSolver para orientação sobre fluxo de tarefas.

Uso Responsável

Monitore apenas dados aos quais você tem autorização para acessar. Siga contratos de feed de listagem, licenças de registro, termos da fonte, limites de taxa, leis de privacidade e requisitos de habitação justa. Não colete dados de conta privada, detalhes de contato do proprietário, informações de inquilino, registros de aplicação ou relatórios de avaliação restritos sem base legal válida. Mantenha a recuperação de desafios limitada a um fluxo de trabalho público ou parceiro aprovado. Capacidade técnica não concede permissão.

Conclusão

O monitoramento confiável de preços de imóveis depende de observações comparáveis e origem clara. Índices oficiais e conjuntos de dados de transações fornecem a base; feeds licenciados fornecem detalhes atuais de listagem; páginas autorizadas preenchem lacunas definidas. Quando um desafio Cloudflare suportado interrompe esse fallback, use o CapSolver com um proxy estático ou estático, agente de usuário do Chrome consistente, cookies de curta duração, uma tentativa de recuperação e verificação explícita da página.

Inicie um fluxo de trabalho aprovado de dados imobiliários com o CapSolver, valide-o contra uma fonte controlada e adicione regras de tipo de preço, evidência e confirmação antes de escalar alertas.

Perguntas frequentes

O HPI da FHFA é um feed de preço por imóvel?

Não. É um índice de mercado construído a partir de transações repetidas e publicado em vários níveis geográficos. Use-o como referência, não como preço de lista individual.

Qual tarefa do CapSolver lida com o desafio Cloudflare?

Use a AntiCloudflareTask documentada com a URL de destino exata e um proxy estático ou estático. Um agente de usuário do Chrome suportado consistente e HTML de desafio atual também podem ser necessários.

Pode-se comparar diretamente o preço de venda e o preço registrado?

Eles devem ser armazenados como tipos de preço diferentes. Qualquer comparação deve explicar que um é uma oferta do vendedor e o outro é uma transação concluída.

Devo tratar um preço ausente após um desafio como uma exclusão?

Não. Registre um erro de infraestrutura ou parser e verifique o estado da página. Um seletor ausente não é evidência de que a lista tenha sido removida.

Por quanto tempo o cf_clearance deve ser retido?

Mantenha-o apenas para a sessão de solicitação aprovada de curta duração. Não o armazene em análises de propriedade, contexto de modelo, registros de longo prazo ou alertas de clientes.