Selenium 프록시 통합

      const { Builder, Browser } = require('selenium-webdriver');
const {
    AUTH = 'USER:PASS',
    TARGET_URL = 'https://example.com',
} = process.env;

async function scrape(url = TARGET_URL) {
    if (AUTH == 'USER:PASS') {
        throw new Error(`AUTH 환경 변수에 스크래핑 브라우저 자격 증명을 제공하거나 스크립트를 업데이트하십시오.`);
    }
    console.log(`브라우저에 연결 중...`);
    const server = `https://${AUTH}@brd.superproxy.io:9515`;
    const driver = await new Builder()
        .forBrowser(Browser.CHROME)
        .usingServer(server)
        .build();
    try {
        console.log(`연결됨! ${url}으로 이동 중...`);
        await driver.get(url);
        console.log(`이동 완료! 페이지 콘텐츠 스크래핑 중...`);
        const data = await driver.getPageSource();
        console.log(`스크래핑 완료! 데이터: ${data}`);
    } finally {
        await driver.quit();
    }
}

if (require.main == module) {
    scrape().catch(error => {
        console.error(error.stack || error.message || error);
        process.exit(1);
    });
}