Trích xuất dữ liệu đăng ký công ty cho AI kiểm tra kỹ lưỡng

TL;DR

• Bắt đầu với các API của kho lưu trữ chính thức và tập dữ liệu khối trước khi sử dụng tự động hóa trình duyệt.
• Chuẩn hóa danh tính doanh nghiệp, trạng thái, người điều hành, hồ sơ, địa chỉ và thời gian thu thập nguồn vào một lược đồ chung.
• Xem việc giải CAPTCHA như một phương pháp dự phòng được kiểm soát cho truy cập cổng công cộng được ủy quyền, không phải phương pháp thu thập chính.
• Thêm khớp thực thể, nguồn gốc, điểm số mới nhất và kiểm tra của con người trước khi đưa ra kết luận rủi ro do AI tạo ra.
• Tối thiểu hóa dữ liệu cá nhân và tuân thủ các điều khoản, giới hạn tốc độ, giấy phép và quy định bảo mật của mỗi kho lưu trữ.

Giới thiệu

Việc trích xuất dữ liệu đăng ký doanh nghiệp trở nên hữu ích cho kiểm tra kỹ lưỡng bằng AI chỉ khi các hồ sơ được cập nhật, có thể truy nguyên và chuẩn hóa trên các khu vực pháp lý. Kiến trúc tốt nhất là API đầu tiên: truy vấn các kho lưu trữ chính thức, lưu trữ phản hồi nguồn, ánh xạ các trường vào lược đồ doanh nghiệp chung, và chỉ sử dụng tự động hóa trình duyệt khi không có API hoặc xuất phù hợp. Các thách thức CAPTCHA có thể làm gián đoạn quy trình cổng công cộng, nhưng chúng nên được xử lý thông qua lớp khôi phục có thể kiểm toán với quyền truy cập nghiêm ngặt, giới hạn tốc độ và kiểm soát giảm thiểu dữ liệu. Hướng dẫn này cho thấy cách xây dựng chuỗi xử lý đó, bao gồm lựa chọn nguồn, giải quyết danh tính, ví dụ Python có cấu trúc, lưu trữ bằng chứng, giám sát thay đổi và tích hợp CapSolver an toàn. Kết quả hỗ trợ onboarding nhà cung cấp, kiểm tra đối tác, giám sát danh mục đầu tư và các đại lý nghiên cứu mà không cho phép mô hình đưa ra các quyết định pháp lý hoặc rủi ro không được hỗ trợ.

Dữ liệu đăng ký doanh nghiệp mà một đại lý AI nên thu thập là gì?

Một hồ sơ hữu ích không chỉ là tên doanh nghiệp. Nó cần đủ các định danh ổn định và nguồn gốc để phân biệt các thực thể có tên tương tự và giải thích mọi kết luận.

from dataclasses import dataclass, field
from datetime import datetime

@dataclass
class CompanyRecord:
    jurisdiction: str
    registry_company_id: str
    legal_name: str
    previous_names: list[str] = field(default_factory=list)
    company_status: str | None = None
    incorporation_date: str | None = None
    legal_form: str | None = None
    registered_address: dict | None = None
    officers: list[dict] = field(default_factory=list)
    filing_history: list[dict] = field(default_factory=list)
    industry_codes: list[str] = field(default_factory=list)
    source_url: str | None = None
    collected_at: str = field(default_factory=lambda: datetime.utcnow().isoformat())

Các trường cốt lõi thay đổi theo khu vực pháp lý, nhưng hồ sơ luôn phải giữ lại định danh doanh nghiệp chính thức, khu vực nguồn, URL nguồn và thời gian thu thập. FAQ thu thập dữ liệu công khai của CapSolver cung cấp hướng dẫn chung cho việc thu thập dữ liệu công khai đáng tin cậy, trong khi bài viết blog về tự động hóa của CapSolver đề cập đến thiết kế quy trình.

Sử dụng API chính thức trước tự động hóa trình duyệt

API chính thức cung cấp lược đồ ổn định, giấy phép rõ ràng và giới hạn tốc độ dự đoán được. Ví dụ, API của Companies House Vương quốc Anh cung cấp thông tin doanh nghiệp trực tiếp, trong khi API EDGAR của SEC tiết lộ dữ liệu hồ sơ và nộp của Hoa Kỳ. Portal đăng ký kinh doanh của EU e-Justice mô tả truy cập đăng ký xuyên biên giới thông qua BRIS.

Một quy trình kiểm tra kỹ lưỡng bằng AI đáng tin cậy ghi lại đường dẫn nguồn nào đã tạo ra từng trường. Nó không bao giờ hợp nhất giá trị của nhà cung cấp với hồ sơ chính thức mà không có nguồn gốc.

Trích xuất hồ sơ doanh nghiệp từ Companies House

Ví dụ đầu tiên dựa trên API sử dụng điểm cuối hồ sơ doanh nghiệp được tài liệu hóa của Companies House. Lưu trữ khóa API bên ngoài lời nhắc và mã nguồn.

import os
import requests

COMPANIES_HOUSE_KEY = os.environ["COMPANIES_HOUSE_API_KEY"]


def fetch_uk_company(company_number: str) -> dict:
    url = (
        "https://api.company-information.service.gov.uk/"
        f"company/{company_number}"
    )
    response = requests.get(
        url,
        auth=(COMPANIES_HOUSE_KEY, ""),
        timeout=30,
        headers={"Accept": "application/json"},
    )
    response.raise_for_status()
    raw = response.json()

    return {
        "jurisdiction": "GB",
        "registry_company_id": raw["company_number"],
        "legal_name": raw["company_name"],
        "company_status": raw.get("company_status"),
        "incorporation_date": raw.get("date_of_creation"),
        "legal_form": raw.get("type"),
        "registered_address": raw.get("registered_office_address"),
        "industry_codes": raw.get("sic_codes", []),
        "source_url": url,
    }

Sử dụng các điểm cuối được tài liệu hóa cho người điều hành, lịch sử hồ sơ, phá sản và người có quyền kiểm soát lớn chỉ khi các trường đó cần thiết cho trường hợp sử dụng được phê duyệt. Không thu thập toàn bộ hồ sơ mặc định. Hướng dẫn đăng ký Companies House giải thích về sổ đăng ký công khai và chính sách tìm kiếm.

Chuẩn hóa hồ sơ trên các khu vực pháp lý

Các thuật ngữ kho lưu trữ khác nhau. Một nguồn có thể sử dụng "active", nguồn khác "registered", và nguồn khác có nhãn cụ thể khu vực. Giữ nguyên giá trị thô và ánh xạ vào từ vựng chuẩn hóa nhỏ.

STATUS_MAP = {
    "active": "active",
    "registered": "active",
    "dissolved": "inactive",
    "liquidation": "distress",
    "administration": "distress",
    "converted-closed": "inactive",
}


def normalize_status(raw_status: str | None) -> dict:
    raw = (raw_status or "unknown").strip().lower()
    return {
        "raw_status": raw_status,
        "normalized_status": STATUS_MAP.get(raw, "other"),
    }

Chuẩn hóa không bao giờ loại bỏ nhãn nguồn. Các đại lý AI cần bằng chứng thô để giải thích sự không chắc chắn và thích ứng với thay đổi trong thuật ngữ kho lưu trữ.

Guía thu thập dữ liệu bằng Python của CapSolver cung cấp các mẫu thu thập thực tế, và từ điển thuật ngữ của CapSolver giúp các nhóm tiêu chuẩn hóa thuật ngữ tự động hóa.

Thêm khớp thực thể trước phân tích rủi ro

Tên riêng không đáng tin cậy. Xác định thực thể bằng cách trọng số các định danh ổn định và xác minh các thuộc tính.

from difflib import SequenceMatcher


def entity_match_score(query: dict, candidate: dict) -> float:
    score = 0.0

    if query.get("registry_company_id") == candidate.get("registry_company_id"):
        score += 0.60

    name_a = (query.get("legal_name") or "").lower()
    name_b = (candidate.get("legal_name") or "").lower()
    score += 0.25 * SequenceMatcher(None, name_a, name_b).ratio()

    if query.get("postal_code") and (
        query["postal_code"] == candidate.get("postal_code")
    ):
        score += 0.15

    return round(min(score, 1.0), 3)

Yêu cầu kiểm tra của con người dưới ngưỡng tin cậy bảo thủ. Một đại lý AI nên tóm tắt bằng chứng khớp, không tuyên bố hai thực thể giống nhau chỉ vì tên của chúng tương tự.

Khi các cổng đăng ký công cộng đưa ra thách thức CAPTCHA

Một số kho lưu trữ chỉ hiển thị trường thông qua cổng công cộng hoặc thêm kiểm tra lưu lượng sau nhiều lần tìm kiếm. Sử dụng trình duyệt dự phòng chỉ khi điều khoản cho phép tự động hóa và tổ chức đã phê duyệt quy trình.

Tài liệu Agent CapSolver do người dùng cung cấp ánh xạ solve_on_page đến phương pháp trình duyệt cốt lõi. Một bước khôi phục Playwright được kiểm soát do đó có thể ở ngoài suy nghĩ tự do của mô hình:

from capsolver_core import Capsolver

cap = Capsolver(api_key=os.environ["CAPSOLVER_API_KEY"])

async def recover_authorized_registry_page(page):
    detected = await cap.detect(page)
    if not detected:
        return {"solved": False, "reason": "No supported challenge detected"}

    result = await cap.solve_on_page(page)
    return {
        "solved": True,
        "result": result,
    }

Giữ trình duyệt trong cùng phiên và áp dụng quy tắc thử lại có giới hạn. FAQ giải CAPTCHA của CapSolver giải thích chu kỳ tổng thể, và bài viết của CapSolver về xử lý CAPTCHA trong thu thập dữ liệu thảo luận các mẫu khôi phục thực tế.

Mã bổ sung: Sử dụng mã WEBS tại Bảng điều khiển CapSolver để nhận thêm 5% tiền thưởng cho mỗi lần nạp tiền.

Xây dựng gói bằng chứng kiểm tra kỹ lưỡng

Đại lý AI nên nhận được gói bằng chứng thay vì các trang thô không giới hạn. Bao gồm các trường đã chuẩn hóa, hình ảnh hoặc băm nguồn, thời gian đánh dấu và cảnh báo chất lượng dữ liệu rõ ràng.

import hashlib
import json
from datetime import datetime, timezone


def build_evidence_package(record: dict, raw_response: dict) -> dict:
    raw_json = json.dumps(raw_response, sort_keys=True).encode("utf-8")
    return {
        "record": record,
        "provenance": {
            "source_url": record["source_url"],
            "collected_at": datetime.now(timezone.utc).isoformat(),
            "raw_sha256": hashlib.sha256(raw_json).hexdigest(),
        },
        "warnings": [
            "Thông tin kho lưu trữ có thể được nộp bởi công ty và có thể cần kiểm tra độc lập.",
            "Không nên đưa ra kết luận pháp lý hoặc đầu tư mà không có kiểm tra của con người.",
        ],
    }

Điều này đặc biệt quan trọng vì việc công bố một sự thật bởi kho lưu trữ không chứng minh rằng sự thật đó hiện tại, đầy đủ hoặc được kiểm tra độc lập. Đầu ra AI nên phân biệt giữa "được báo cáo bởi kho lưu trữ" và "được xác minh bởi kiểm tra kỹ lưỡng".

Giám sát thay đổi thay vì quét lại toàn bộ

Sử dụng kiểm tra dựa trên sự kiện khi có webhooks chính thức hoặc sản phẩm truyền dữ liệu. Ngược lại, tính toán băm của các trường đã chuẩn hóa và truy xuất lại theo lịch dựa trên rủi ro.

MONITORING_INTERVALS = {
    "high_risk_counterparty": "daily",
    "active_vendor": "weekly",
    "prospect": "monthly",
    "archived_relationship": "quarterly",
}

Theo dõi các thay đổi có ý nghĩa như trạng thái doanh nghiệp, địa chỉ đăng ký, giám đốc, hồ sơ sở hữu có lợi, tài khoản quá hạn và chỉ số phá sản. Tránh gửi cảnh báo cho các thay đổi chỉ liên quan đến định dạng.

Kiểm soát quản trị và tuân thủ

Việc trích xuất dữ liệu đăng ký doanh nghiệp phải tuân thủ giấy phép nguồn, điều khoản sử dụng, luật bảo mật và giới hạn mục đích. Ngay cả các kho lưu trữ công khai cũng có thể chứa thông tin cá nhân về người điều hành hoặc chủ sở hữu có lợi. Thu thập chỉ những gì quy trình kiểm tra kỹ lưỡng được phê duyệt cần, thực thi thời gian lưu trữ và hạn chế truy cập mô hình đầu ra.

Nguyên tắc bảo vệ dữ liệu của UK ICO cung cấp khung làm việc hữu ích cho tính hợp pháp, giảm thiểu, chính xác, giới hạn lưu trữ và bảo mật.

Kết luận

Việc trích xuất dữ liệu đăng ký doanh nghiệp cho kiểm tra kỹ lưỡng bằng AI hoạt động tốt nhất như một chuỗi xử lý dữ liệu dựa trên nguồn gốc. Sử dụng API chính thức và tập dữ liệu khối whenever có thể, chuẩn hóa mà không xóa bỏ giá trị thô, giải quyết thực thể một cách bảo thủ và cung cấp cho mô hình bằng chứng thay vì kết luận không được kiểm soát. Khi một cổng công cộng được ủy quyền đưa ra thách thức CAPTCHA được hỗ trợ, CapSolver có thể hoạt động như một lớp khôi phục được kiểm soát hẹp mà không thay đổi phần còn lại của chuỗi xử lý.

Bắt đầu bằng cách kiểm tra CapSolver trong quy trình thử nghiệm, sau đó thêm giấy phép nguồn, kiểm tra bảo mật, giới hạn tốc độ và phê duyệt của con người trước khi sử dụng sản xuất.

Câu hỏi thường gặp

Dữ liệu đăng ký doanh nghiệp luôn công khai không?

Không. Sự sẵn có thay đổi theo khu vực pháp lý, loại hồ sơ và chính sách truy cập. Một số đăng ký công bố thông tin cơ bản về doanh nghiệp nhưng hạn chế thông tin cá nhân, sở hữu có lợi, hồ sơ lịch sử hoặc tài liệu.

Tôi nên quét kho lưu trữ nếu nó cung cấp API không?

Sử dụng API chính thức hoặc tập dữ liệu khối trước tiên. Tự động hóa trình duyệt nên là phương pháp dự phòng cho các trường được phép mà không có truy cập cấu trúc.

Đại lý AI có thể quyết định xem một doanh nghiệp có rủi ro không?

Đại lý có thể tóm tắt bằng chứng và đánh dấu sự không nhất quán, nhưng các quyết định pháp lý, tuân thủ, cho vay, mua sắm hoặc đầu tư quan trọng nên được giữ dưới sự kiểm tra quy tắc được xác minh và xem xét của con người có chuyên môn.

Tần suất cập nhật hồ sơ doanh nghiệp là bao nhiêu?

Sử dụng lịch dựa trên rủi ro. Đối tác có rủi ro cao có thể cần kiểm tra hàng ngày, trong khi mối quan hệ có rủi ro thấp hoặc không hoạt động có thể cần cập nhật hàng tháng hoặc hàng quý.

CapSolver nằm ở đâu trong chuỗi xử lý?

CapSolver chỉ liên quan khi một cổng công cộng được ủy quyền đưa ra thách thức được hỗ trợ. Nó không nên thay thế API chính thức, quyền truy cập, kiểm soát danh tính hoặc đánh giá tuân thủ.