AutoDL系列赛最后一战 AutoWSL2019挑战赛火热进行中

  • 时间:
  • 浏览:0
  • 来源:大发百家乐app下载-大发百家乐app下载安装-大发百家乐网站

AutoWSL2019作为11月17-19日亚洲机器学习大会(ACML)主会议竞赛单元之一,由第四范式、ChaLearn、RIKEN和微软联合举办,其中竞赛分享和颁奖将与大会WSL-Workshop一同举办。据悉,AutoWSL是继AutoCV、AutoCV2、AutoNLP、AutoSpeech事先的第5届自动淬硬层 学习(AutoDL)挑战赛,比赛已于9月24日正式开使英语 。本次挑战赛聚焦于弱监督学习相关任务的自动化防止方案,参赛者这麼设计自动机器学习守护进程完成半监督学习、正例及未标记学习和噪声标记学习另另另一个 热门方向任务,防止不同应用领域的二分类大大问题。

现代机器学习正在向复杂化模型(如淬硬层 神经网络)的时代迁移,而复杂化模型这麼血块的优质标注数据。大公司有足够的资源来架构设计 优质的标注数据,然而对于初创公司或非营利组织来说,标记数据的高昂成本这麼让大伙望而却步。此外,在特定领域的数据居于自然稀缺性(如阿尔茨海默病或地震预测等),优质的标注数据机会根本不居于。弱监督学习(WSL)最好的办法试图通过访问比监督学习更少的标注信息,来达到监督学习相近的效果目标。正机会WSL不这麼血块的标注数据,能助 大伙对弱监督学习进行研究和关注,以期望让更多的用户和企业享受低门槛的机器学习红利。但传统的弱监督学习最好的办法有很多的超参数这麼根据大大问题进行调整,这麼付出众多人力也能成功部署弱监督学习最好的办法,而大伙希望召集来自全球各地的优秀参赛者一同通过自动化防止最好的办法破解这一大大问题,降低弱监督学习最好的办法的使用门槛。

本次赛事主要负责人、第四范式主任科学家涂威威表示:第四范式接触到的现实业务蕴含非常多的弱监督学习场景,有效的自动弱监督学习最好的办法对于规模化防止那此场景中的机器学习大大问题至关重要。第四范式联合南京大学提出了自动半监督学习(AutoSSL)以及自动正例及未标记学习(AutoPU)等最好的办法。但会 相关的研究才事先起步,举办本次比赛也是希望吸引更多优秀的研究人员和从业人员关注到自动化弱监督学习的大大问题,一同推动这一领域的技术进步,从而帮助更多的行业利用机器学习技术提升效益。

关于比赛

本次比赛是国际首届自动弱监督学习竞赛,旨在为与弱监督学习相关的任务提供自动化的防止方案,挑战任务仅限于来自不同应用领域的二分类大大问题。大会为参赛者提供三个小练习数据集,用于开发自动弱监督学习守护进程。而是,该守护进程将在无人工干预的具体情况下在18个私有验证数据集上进行反馈测试,选手可不这麼通过验证数据集上的反馈结果调整守护进程;最后在18个私有测试数据集上进行测试评估,测试结果将决定最终的竞赛排名。

在AutoWSL竞赛中,大伙将重点关注弱监督学习中的另另另一个 热门任务,即半监督学习(或多或少样本是未标记的)、正例及未标记学习(样本这麼正例或未标记,这麼负例)和从噪声标记中学习(所有样本就有标记,但或多或少标记机会是错误的)。这另另另一个 任务互不关联,无需一同经常出现在同另另另一个 数据集中。另外,组委会提供辅助信息帮助参赛者选折 大伙这麼在每个数据集上执行的任务。

赛事挑战:

AutoWSL将对参赛者提出新的挑战,如下所列:

-如可自动防止各种弱监督学习任务?

-如可为不同的任务自动提取有用的价值形式?

-如可自动防止不同数量的监督信息?

-如可自动设计有效的学习模型来防止各种价值形式化数据?

此外,参赛者还应考虑:

-如可自动和有效地选折 适当的超参数?

-如可提高防止方案通用性?即如可保证防止其在未知任务中的适用性?

-如可控制计算和内存成本?

赛制 介绍

本次比赛准备了总共39个分类数据集,参赛者首先下载另另另一个 可不这麼下载的练习数据集,以便其可不这麼离线开发大伙的自动弱监督防止方案。此外,另外18个验证数据集也提供给参与者,以评估其防止方案的公共排行榜分数。事先,防止方案将在这麼人工干预的具体情况下用18个私有测试数据集盲测评估。

数据集

这一挑战仅限于来自不同应用领域的二分类大大问题,竞赛将重点关注WSL中的另另另一个 热门任务,即半监督学习(部分样本未标记)、正例及未标记学习(样本这麼正例或未标记样本,这麼负例)和从噪声标签中学习(所有样本就有标记,但部分标签机会是错误的),这另另另一个 不相交的任务无需一同经常出现在单个数据集中。

竞赛 规则

这项挑战分为另另另一个 阶段。首先,参赛者将获得可不这麼下载的练习数据集,以便可不这麼离线开发大伙的AutoWSL守护进程;但会 进入反馈阶段,参赛者将AutoWSL代码上传到竞赛平台上,守护进程将在18个验证数据集中测试,并得到其最好的办法性能的即时反馈。反馈阶段开使英语 后,竞赛进入检查阶段,参与者只允许在私有数据集上提交一次代码以进行调试,该阶段参赛者无法读取阅读完整的日志,但可不这麼查看代码与否报告错误。最后进入最终阶段,参赛者提交的守护进程将在18个私有测试数据集上进行评估。最终阶段的排名将决定获胜者。

提交的守护进程代码是自动训练和测试的,无需任何人工干预。在反馈阶段提交的代码在所有18个反馈数据集上并行地运行在单独的计算机上,每个数据集就有测试时间限制。

平台上用于测试的数据集的所有信息将被隐藏,数据将以原始形式提供(这麼价值形式提取),以鼓励研究人员进行自动价值形式学习,所有大大问题就有二分类大大问题,任务完成受时间限制。

赛事时间:

  北京时间(UTC+8)

  2019年9月24日23:59:反馈阶段开使英语 ,练习数据集的发布。参赛者可不这麼开使英语 提交代码并在排行榜中获得即时反馈。

  2019年10月22日23:59:参赛者真实身份验证。

  2019年10月29日23:59:反馈阶段开使英语 。

  2019年10月100日00:00:检查阶段开使英语 。

  2019年11月2日19:59:检查阶段开使英语 。

  2019年11月2日20:00:最终阶段开使英语 。

  2019年11月4日20:00:重新提交截止日期。

  2019年11月6日20:00:最终阶段开使英语 。

  请注意,CODALAB平台使用UTC时间格式,请注意比赛官网或多或少地方的时间说明,以免错过比赛各阶段的时间点。

  赛事奖励:

  第一名:$100

  第二名:$100

  第三名:$100