助力数据要素市场标准化,晴数智慧发布大模型数据集企业标准
创始人
2025-06-29 01:21:48
0

伴随着工业化、信息化、智能化的不断发展,数字经济取得了显著的成就并即将迈向新的发展阶段。在此背景下,国家部委就推动以数字赋能推动产业高质量发展制定与实施一系列相关政策。不久前,工信部就鼓励部属单位开展数据确权授权的标准制定等方面工作展开了发表政策建议答复。


工信部网站显示:下一步,我部将围绕三方面做好相关工作。一是支持北京、上海等地数据交易机构高质量建设,鼓励各类市场主体参与数据要素市场建设,探索多种形式的数据交易模式,推动数据要素价值转化。二是推动全国统一数据登记平台高水平建设,指导开展数据资产价值评估试点,打通数据要素流通堵点。三是鼓励部属单位开展数据确权授权的标准制定、技术研发、平台应用、授权认证等方面工作,探索数据确权授权的落地方案和创新模式。


统一的数据要素市场建设离不开统一数据标准的制定。在新的依托大模型为基础的生成式人工智能发展趋势下,晴数智慧响应政府与市场号召,探索与制定新的符合大模型数据需求的数据分级分类企业标准,并于今日公开发布。


晴数智慧将大模型数据集生产分为L1到L3三个标准,级别越高,数据精度越高。晴数智慧希望通过这套企业标准划分不同的数据处理层级,规范并提升数据质量,并确保数据的可靠性、有效性和知识产权的清晰性。



这三个标准之间形成了一个逐步升级与优化的数据处理流程,从基础的自动化清洗到逐步优化和深度处理,以达到企业对数据质量和数据合规的双重要求。


L1阶段着重于自动化处理和基本数据清洗,由中级数据专家设计数据分布,采用一流性能的大模型,通过全自动数据清洗处理和A100/A10 GPU算力支持,确保数据的基本质量,同时强调数据知识产权的清晰性。

L1数据样例:


L2阶段在L1的基础上进一步提升数据质量,由高级数据专家设计数据分布,同样采用一流性能大模型进行全自动数据预清洗处理。在此基础上引入人工筛选不合格数据,以无害性和语言模型任务完成能力为核心标准,进一步优化数据。


L2数据样例:


L3阶段在前两个阶段的基础上,更加注重数据的高质量和深度处理,由特级数据专家设计数据分布,同样采用一流性能大模型协同生产并进行全自动数据预清洗处理。而后通过人工筛选并修正不合格数据,筛选标准包括事实性、相关性、流畅性、无害性以及语言模型任务完成能力,进一步确保数据的可信度和可用性。

L3数据样例:


这三个标准层级在数据顶层设计、数据处理的自动化程度、人工干预程度以及数据筛选的严格程度上存在差异。通过这一套企业标准,晴数智慧希望在数据产品及服务交付过程中确保数据质量、帮助客户针对性提升模型性能以及满足不同任务需求。


晴数智慧希望这套大模型数据集企业标准能为政府有关部门及合作伙伴提供一定的参考和借鉴,助力统一数据要素市场的建设。


更多标准详情,咨询晴数智慧。



相关内容

热门资讯

PHP新手之PHP入门 PHP是一种易于学习和使用的服务器端脚本语言。只需要很少的编程知识你就能使用PHP建立一个真正交互的...
网络中立的未来 网络中立性是什... 《牛津词典》中对“网络中立”的解释是“电信运营商应秉持的一种原则,即不考虑来源地提供所有内容和应用的...
各种千兆交换机的数据接口类型详... 千兆交换机有很多值得学习的地方,这里我们主要介绍各种千兆交换机的数据接口类型,作为局域网的主要连接设...
粉嫩如何诠释霸道 东芝M805... “霸道粉”是个什么玩意东芝M805拿过来的时候,笔者扑哧笑了,不是笑这款笔记本,而是笑这款产品的颜色...
什么是大数据安全 什么是大数据... 在《为什么需要大数据安全分析》一文中,我们已经阐述了一个重要观点,即:安全要素信息呈现出大数据的特征...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
全面诠释网络负载均衡 负载均衡的出现大大缓解了服务器的压力,更是有效的利用了资源,提高了效率。那么我们现在来说一下网络负载...
如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
30分钟搞定iOS自定义相机 最近公司的项目中用到了相机,由于不用系统的相机,UI给的相机切图,必须自定义才可以。就花时间简单研究...
Intel将Moblin社区控... 本周二,非营利机构Linux基金会宣布,他们将担负起Moblin社区的管理工作,而这之前,Mobli...