腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

WeData执行资源组过载

1. 对于写入hive/dlc/iceberg数据源，且数据量较大（百万级以上）场景，建议资源包规格升级为8c32g，资源包数量不小于2个。

2024-05-20

3040

标签:

数据开发治理平台 WeData

WeData任务异常日志查看

场景一：EMR引擎相关任务：Hive SQL、Spark SQL等类型任务运行异常进入WeData对应项目，在运维中心➡️实例运维➡️周期实例页面，根据任务ID获取异常任务实例，点击查看日志；根据任务日志排查查看对应任务运行情况获取yarn日志命令：yarn logs -applicationId [appid] > app.log 场景二 DLC引擎相关任务：DLC SQL、DLC Spark等类型任务运行异常进入WeData 详细信息也可以跳转到DLC页面，通过DLC任务ID，查看具体报错内容跳转到DLC页面，点击历史任务实例，根据任务ID查看具体运行日志场景三 MYSQL、SQL SERVER等其他类型任务运行异常进入WeData

2025-05-26

4070

标签:

数据湖计算 DLC

数据开发治理平台 WeData

弹性 MapReduce

Wedata数据治理产品应用

什么是Wedata数据开发治理平台 WeData（以下简称 WeData）是位于云端的一站式数据开发治理平台，融合了包含数据集成、数据开发、任务运维的全链路 DataOps 数据开发能力，以及数据地图、数据安全等一系列数据治理和运营能力，帮助企业在数据构建和应用的过程中实现数据价值最大化，更多见产品文档：https://cloud.tencent.com/document/product/1267/47990以下为wedata 如何应用Wedata通过腾讯云以下三个产品来模拟用户使用Wedata的真实场景。 regionId=4）可以创建一个VPC，其他产品如Wedata、EMR和MySQL都放到这个VPC下。购买后再次确认配置（因模拟环境使用，我购买的均为低配版本）。 Wedata项目配置首先创建项目再次进入资源配置，设置好资源组、集成资源等添加数据源数据开发创建hive库表在新建的 streamdemo_hive 的数据库中，创建名为 productorder_hive

2023-11-21

9860

标签:

数据开发治理平台 WeData

腾讯云WeData Notebook探索：从大数据迈向数据科学

，您可以登录进行体验，在第四章节，我们会介绍如何体验和购买 WeData Notebook 探索。如何体验和购买 1、如果您还不是 WeData 用户，请先开通 WeData 服务。目前 WeData 面向新用户提供多个优惠活动，您可以9.9元购买3个月 WeData专业版、19.9元购买3个月WeData企业版（复制下列链接至浏览器打开：https://cloud.tencent.com 3、上述两个服务开通后，进入WeData控制台进行使用，更多内容请点击阅读原文前往产品官网进行了解。未来，Notebook探索会进一步加强与WeData编排空间的融合，借助WeData强大的工作流编排和周期性调度能力，实现数据汇聚、数据开发、数据分析全链路流程一体化、自动化。

腾讯QQ大数据

2024-08-26

1.2K0

标签:

腾讯云WeData Notebook：数据科学家的最佳拍档

：WeData Notebook 提供了一个交互式的环境，可以使用 PySpark 或其他大数据处理框架来探索和分析 EMR 和 DLC 中的大规模数据集，您可以使用 WeData Notebook 内置的可视化库技术实现腾讯云 WeData Notebook 探索整体架构图如下： 1.关键实现: 联动 Cloudstudio 共建云端 Jupyter 运行环境 WeData 团队联合了腾讯云 CloudStudio 整体实现流程如下: 如图，WeData 已针对不同版本的大数据引擎维护了多套不同的 workspace 镜像，用户在创建 workspace 时，WeData 会根据用户绑定的大数据引擎实例，选择合适的镜像版本并将所需要的引擎配置和认证信息上传至托管和下发，来源于用户授权 WeData 访问 DLC 引擎的 CAM policy，默认5分钟过期。 ● Secret 秘钥：WeData 在向工作空间下发配置时颁发的一套和工作空间绑定的秘钥串，用于校验 refresh token 的合法性。

腾讯QQ大数据

2024-07-29

1.6K0

标签:

数据开发治理平台Wedata之数仓建设实践

通过模拟业务数据的导入，分层ETL和数据应用全过程，演示了如何在Wedata上进行高效的数据开发与治理。 Wedata也同时支持CDW-PG、DLC作为基础平台。选择弹性Mapreduce服务，参考如下规格，进行EMR集群的创建。调度执行组使用的机器配置可自行决定，当前Wedata使用CVM配置4C8G可支持64并发。 image.png 2.5 开通Wedata服务开通Wedata服务，主账号可以直接创建空间。 image.png 2.6 开通Wedata项目空间 2.6.1 创建项目进入Wedata服务，选择项目列表，点击创建项目开通新wedata项目空间。如下图中，张XX用户映射zaki之后，控制台使用张XX用户登入wedata，任务提交在hadoop集群使用zaki用户。

2022-05-09

3.7K0

标签:

数据开发治理平台 WeData

腾讯云大数据WeData在金融行业数据分类分级实践

本文结合腾讯云大数据WeData（一站式大数据开发治理平台）探索数据分类分级在某金融客户的应用实践和落地过程。名词解释数据资产，可以被定义为组织或个人拥有的具有价值的数据资源。本文中所提及的数据安全能力是WeData联合腾讯云鼎安全实验室共同打造的数据安全治理能力，以WeData产品赋能客户，提供敏感数据发现与分类分级、数据安全风险评估、数据安全策略及管控闭环、数据安全风险监测和告警等功能本文我们结合腾讯内部经验和腾讯云服务的客户经验，通过在金融行业客户使用WeData的案例，来详细解析WeData数据安全分级分类实践应用。图四、WeData内置模板，参考 JR∕T 0197-2020《金融数据安全数据安全分级指南》如上所示，准备好分类分级规则模板后，下一步就是进行敏感数据识别。以上过程通过WeData平台自动完成，这个过程中有哪些需要关注的点呢？

腾讯QQ大数据

2024-05-27

1.3K0

标签:

腾讯云WeData平台实现金融贷款审核效率提升30%

构建一体化AI开发运维体系腾讯云WeData平台提供OneOps一体化解决方案，通过统一环境、工作流和数据管理实现Data+AI融合：统一开发环境：集成Notebook IDE、环境镜像管理和Git 减少人工审核工作量的同时保持准确性模型迭代周期缩短50%：实现从数据准备到模型部署的持续集成与交付质量监控全覆盖：实现模型效果指标、数据漂移和负责任AI的全面监控某大型银行AI审核系统实践某大型银行采用WeData 腾讯云技术优势与行业认可腾讯云WeData平台凭借以下核心能力获得行业认可：技术架构领先：实现大数据与AI统一编排调度，支持多计算引擎和训练节点统一管理全链路追溯能力：提供数据、特征、模型的全方位血缘分析数据来源：腾讯云内部实践数据、Algorithmia 2020年度ML部署调研报告专家证言：刘开元，腾讯云高级产品经理，负责WeData产品设计与研发

IT前沿资讯站

2026-04-26

1650

标签:

腾讯云 WeData 深度测评

摘要本文聚焦当下最火的数据资产管理赛道，结合 2025 年 8 月腾讯云官网最新信息，横向对比主流平台的核心功能、价格与活动，重点拆解腾讯云 WeData 的“全链路 DataOps、可视化开发、多租户协同深度拆解产品定位 WeData 是腾讯云 2023 年推出、2025 年已全面商业化的一站式数据开发治理平台，主打“开箱即用、全链路 DataOps”。四、典型落地案例某头部城商行：用 WeData 3 天完成 400+ 张监管报表迁移，批处理窗口从 6 小时缩短至 45 分钟。五、三步上手 WeData 登录腾讯云控制台→产品搜索“WeData”→点击“立即选购”；创建项目空间→选择地域（推荐上海/广州）→绑定 COS 数据湖存储；导入样例数据→拖拽第一个 DAG 任务→ 结语如果你正在为“数据找不到、口径不一致、上线慢”而头疼，2025 年 8 月的腾讯云 WeData 几乎是“闭眼入”的选择：不仅功能全、价格透明，还有限时 5 折活动。

2025-08-22

8250

标签:

腾讯云WeData：中国数据治理市场份额增长第一

报告显示，腾讯云凭借“Data+AI”一体化数据智能平台WeData，在中国数据治理平台市场中市场份额位列第二，增长率达到61.06%，连续两年增长率超过60%，成为数据治理市场份额增长最快的厂商。腾讯云WeData全新升级“Data+AI”一体化数据智能平台，基于全链路DataOps与全流程AIOps双引擎驱动，覆盖从数据集成、开发、治理到模型训练、精调、推理的全生命周期能力。特别是，WeData能够基于Unity Semantics进行面向AI应用的数据治理，构建人与AI都能理解的数据及其语义资产。 WeData Unity Semantics产品架构强大的语义表达能力：通过业务概念与术语定义、数据关系建模、复杂指标的统一定义与开发、以及标准化维度建模，构建面向业务的统一语义模型。腾讯云WeData 将继续优化和提升产品能力，为企业提供面向 AI 的数据治理方案，助力企业在AI时代充分挖掘数据的价值，推动数据治理创新与发展。

腾讯QQ大数据

2025-09-29

1.4K0

标签: