决赛相关问题

请参考决赛系统QA。

测评方案及训练集问题

• 1.初赛测评方案

  • 预赛阶段：7月27日至8月23日，每日提交次数6次，该阶段提交系统会使用50%的block测试集和训练集的网络trace进行单流测评，但不计入最终评分，仅供选手为应对最终测评阶段检测算法的泛化性。
  
  
  • 测评阶段：8月24日至8月27日，每日使用与当日训练集对应的测试集进行测评，提交次数限制为每日2次，取最高分为当日成绩。
  
  
  • 为减小测评阶段每日总分不一致问题对初赛成绩的影响，测评阶段选手每日成绩将用当日最高分进行归一化，再计入最终初赛成绩，且前3日（单流）的每日总分为100，第4日（双流）总分为200。如某选手在该4天的排行榜得分分别为[1400, 1000, 1600, 2000]，每日最高分成绩分别为[2000, 2000, 2000, 4000]，则其最终初赛成绩应为(1400/2000+1000/2000+1600/2000)\*100+2000/4000\*200 = (0.7+0.5+0.8)\*100+0.5\*200=300。
  
  
  • 为减小选手算法在不同网络条件下的得分差异，测评阶段将提高网络条件不好的trace在所有网络场景中的数量占比，预计在测评阶段前一周会对提交系统的网络数据使用测试集的网络trace进行替换。

• 2.训练集说明

  • 分为day_1, day_2, day_3和day_4四个文件夹，分别对应测评阶段4天每日所使用的部分业务场景。每个文件夹中包括blocks和networks两个文件夹。
  
  
  • 每个block文件都为时间长度20s的数据，内容是测评阶段前3天每日所使用的不同业务场景下的部分blocks数据，第4天为双流场景，会使用前3天的block数据集进行测试。
  
  
  • 每种业务场景公开2*6个网络trace，6是指6种网络类型——(强、中、弱) X (不随机，随机)的组合结果，2是指同种类型但不同传播时延的网络trace，网络trace时延涉及20ms，30ms。
  
  
  • 选手应使用不同日的blocks数据与各种类型的网络trace进行组合训练调参，以增强自身算法的鲁棒性。

• 3.双流场景说明

  • 我们已经在demo仓库中提供了双流实验的例子：https://github.com/AItransCompetition/DTP_Demo/tree/master/double_flow。
  
  
  • 与单流实验的具体差异是单流实验使用PccEmulator类创建实验环境，而双流实验使用create_2flow_emulator类创建实验环境，这2个不同类可接受相同参数。
  
  
  • 双流实验实际上是2个发送端公用同一条网络链路的实验，但选手算法只应用于一个发送端。进行仿真实验后，调用print_debug函数会打印2个发送端的debug信息，其中sender_1使用的是选手算法，sender_2使用的是干扰流。
  
  

QoE问题

• １. QOE公式解析

  • 总体公式:
  • $ QOE = \sum_{block \in Block} \alpha*priority*(1-Miss\_ddl) + (1-\alpha)*(1-Miss\_ddl) $
  
  
  • 对于已发送的block，每一个成功抵达接收端，并在发送端得到确认的block，$ QOE+=\alpha*priority+(1-\alpha) $.
  • 每一个Miss Deadline的Block，$ QOE+=0 $.
  • 所以选手可以根据公式，来调节算法，提高QOE。
  • 2020-6-4：a=0.9
  • block数据中的优先级从高到低分别为0，1，2，在应用到QoE公式中，会将3种优先级对应转换成3/3，2/3，1/3再进行计分。

• 2. QOE权值如何确定？

  • 目前我们是这么做的，我们拿了一些线上业务trace的已知结果（比如算法A在某场景下表现严重不如算法B）， 然后对QoE进行搜寻，搜参数权重最能反应算法之间的差异，最后确定的这套参数。

• 3. 最后算法性能会在double flow的场景下测QoE吗？如果要的话这个怎么算呀？是算两个发送端的QoE的和吗？

  • 最后的算法性能会在double flow的场景下进行测试，但大部分测试场景还是基于single flow的，所以前期选手们大可将主要精力用于single flow的情况下进行测试。
  • 对于double flow场景下的QoE，选手的算法只会用于一个发送端，比赛也只考虑这个发送端的QoE。

系统资源问题

• 1. 启动会回放

  • 地址：https://www.bilibili.com/video/BV1mC4y1H7wv/
  • 内容包含主持人致辞、崔勇教授学术报告、比赛内容讲解、demo讲解和现场QA内容。

• 2. 如何安装仿真器系统？

  • 我们已经在python的官方源中将仿真器封装好。大家只需要执行以下命令：
    pip install DTP-Emulator

• 3. 比赛系统的源码在哪里可以找到?

  • pypi地址：https://pypi.org/project/DTP-Emulator
  • github同步源码：https://github.com/AItransCompetition/simple_emulator

• 4. 有拥塞控制算法的Demo吗？

  • 有的, 我们提供了2种算法的demo，其github地址是：https://github.com/AItransCompetition/DTP_Demo

运行提交问题

• 1. 提交系统所使用的一些库的版本，没有的可以联系管理员添加

  库名	版本号
  torch	1.5
  tensorflow	1.6
  numpy	1.16.4
  DTP-Emulator	1.6

• 2. 如何导入已训练的model或其他文件？

  • 为了避免选手加载错误，建议使用如下方法获取当前目录，然后加上相对路径的方式来导入已训练的model。

  import os, inspect
  
  current_dir = os.path.dirname(os.path.abspath(inspect.getfile(inspect.currentframe())))
  model_path = current_dir+"/model.path"
  

• 3. 本地跑多次结果不一样？

  • 因为一些network trace是有一定随机丢包率，而随机丢包是通过random实现的，所以大家在运行训练时，可以通过设定随机种子，如“random.seed(1)”，来保证每次执行结果一致，而我们的提交系统，也是通过这种固定种子的方式，保证选手同一个算法，多次提交具有相同的分数。

• 4. 示例里面的运行结果是实际的还是模拟的，和电脑性能有关吗？

  • 示例的运行结果是仿真的，电脑实际运行时长与电脑性能有关，系统仿真时长与电脑性能无关。

• 5. 强化学习demo无法运行

  • 强化学习demo是在TensorFlow 1.x版本下测试实现的，请先确保运行环境安装了相关库，如果使用的TensorFlow 版本为2.x，可以通过如下操作禁用2.x版本相关行为。

  import tensorflow.compat.v1 as tf
  tf.disable_v2_behavior()
  

• 6. 训练要跑太久怎么办？

  • 因为仿真器是逐包调度的，所以在性能上存在一定瓶颈，建议训练的时候可以通过设置ENABLE_LOG=False来关闭log输出。

• 7. 提交代码后没有收到反馈，不知道提交成功没有怎么办？

  • 预赛阶段因为使用了测评阶段前3日的数据进行在线跑分，因block和network数据组合情况比较多，故跑分时间会比较长，因此大家在提交的时候请耐心等待结果。
  
  
  • 只要选手在提交页面提交算法后，页面跳转至个人中心，即可认为提交成功，提交系统测评结束后，会在个人中心给予提交反馈，请选手避免在提交页面短时间内多次提交。
  
  
  • 目前设置算法最长运行时间为20分钟，即提交结果最久也会在20分钟内给予选手反馈，如若超时，可群内联系管理员，同时请选手们注意优化算法，预赛阶段可以参照reno demo代码在提交系统的测评时间——4分钟左右。
  
  

• 8. 使用同一份pytorch或其他深度学习框架的代码多次跑分不一致？

  • 如pytorch等深度学习框架在初始化网络时用的随机数不受random控制，如pytorch中应使用内置的种子设定方法。
  
  

  #     固定随机数种子
  torch.manual_seed(1)
  
  # 使用随机数初始化网络
  torch.nn.Linear().weight.data.normal_(0, 0.1)
  

数据集问题

• 1. block是如何划分的？

  • block在传输过程中需要进行拆包，每一个数据包分为有效数据和头部数据2部分，其中每一个包中的头部数据大小都相同。

• 2. 是可变时延trace吗？ 基础时延会不会比deadline大？

  • 网络trace既有固定时延部分，也有可变时延部分，但无论哪种，我们能保证这些基础时延低于单个block的deadline。

• 3. 每一次，优先级和不同类型的deadline都是固定的吗？

  • 对不同block而言，优先级和的deadline并不是固定的。

• 4. 带宽数据是怎么生成的啊？

  • 有一部分是用网损仪采集到的，有一部分是去年举办比赛时，由组委会公司提供的，还有一部分是我们通过一些经典的带宽算法模型生成的。

• 5. trace文件是怎么采集到的（同时包含带宽，时延和丢包率）?

  • 在trace文件中，像带宽、时延和丢包率这些数据，并不是瞬时值，而是在一定时间范围内的统计值。

• 6. block trace有哪些？

  • 与block相关的trace包括txt和csv结尾的2种。
  • 以csv结尾的trace，相关描述可见官网数据集部分。
  • 以txt结尾的trace，第一行表示总共会创建的block数量，接下来每一行表示一个block的具体信息，格式为"优先级,大小(B),Deadline"。当行数不够时，会循环使用这些配置信息，直至产生的block数量达到第一行所描述的数量。

• 7. block数据集中的block能在调度1 select packet函数中被同时选择吗？

  • block数据集有2列数据，分别表示block数据产生的时间和大小，因此在调度1中，假设当前时间为cur_time，那么此刻能进行调度的包只有创建时间不超过cur_time且没有miss deadline的包。

系统细节问题

• 1. step1的决策顺序只能进step2队尾吗？比如step2由带宽不够导致的没发出去的包？

  • 可以理解为step1的决策顺序只能进step2的队尾，但实际上step2中并没有队列，系统的发送端只有在过了1/rate的时间或cwnd有空余，即能够发包的时候，才会使用step1决定发哪个包。

• 2. step1和step2多久决定一次？step1能插他前面吗？

  • 初赛所使用的仿真系统是基于事件驱动的，因此只有当有一定的事件发生，才会进入对应的step进行决策。
  • 对step1而言，只有每次能发包的时候，才能进行决策。如果其使用rate，则下一次其决策时间为1/rate后；如果其使用cwnd，则下一次决策时间为收到由接收端递交过来的ack信息或lost信息，且窗口不减的时候。
  • 对step2而言，可以参照问题９“send rate和cwnd以及相关决策参数的应用时机？”。

• 3. 决策中Cwnd，在代码中如何体现出来？

  • 选手的算法如果使用cwnd，就是用cwnd进行控制的。但大家可能对rate比较熟悉，所以我们提供的是plot_rate画图脚本，其原理是根据每个点前一段时间的发包情况，统计出当前时刻的发送速率，因此并不是没有用cwnd。

• 4. model的复杂度是否有要求？

  • 因为目前初赛使用的是仿真器，所以无论选手的model如何复杂，他只会影响算法的训练时间，但对系统的运转，是没有影响的。如果到了决赛，这时候选手已经经过一定筛选，将其算法应用到真实环境，如果该算法具有一定的实时性要求，我们也能提供专门的对接指导，帮助选手们完成部署。

• 5. 丢包重传的时延是固定的还是随机生成的？

  • 当发送端检测到丢包后，其会重新创建这些包，并保留其原来包的优先级和deadline，将其视为普通数据包，交由选手进行决策调度，因此其在传输过程中产生的时延，就和普通数据包传输过程所产生的无异。

• 6. 拥塞控制算法是什么时候被触发？

  • 参照问题“send rate和cwnd以及相关决策参数的应用时机？”

• 7. step2可以单独决策cwnd或者send_rate吧？

  • 是的，我们提供的reno demo就是单独决策cwnd的；强化学习demo，就是单独决策send_rate的。而在官网的数据集栏目，我们也提供了一些比较优秀的paper，这些paper既有决策cwnd的，又有决策send_rate，甚至有同是进行决策的，有想法的选手，我们也鼓励去复现这些paper。

• 8. Event_type和Packet_type分别表示什么，有什么区别？

  • Event_type是专门针对已经从发送端发出去的包而言的，分为完成事件（由接收端传回的ACK包信息）、丢失事件（由接收端传回的丢失包信息）和中间状态事件（除了前2两种事件的包），分别用'F'、'D'和'T'表示。
  • 对选手模块而言，只会受到完成事件和丢失事件，log中可以看到所有事件。

• 9. send rate和cwnd以及相关决策参数的应用时机？

  • 在sender每次要发包，或处理完来自接收端传来的ACK信息或丢包信息时，都会使用选手模块的send rate或cwnd。
  • 具体到模块中，就是发包的时候会调用"make_decision"函数，收到来自接收端传来的ACK信息或丢包信息时会调用"append_input"，然后在各自对应的情况下，获取包含send rate或cwnd信息的字典返回值，并应用到系统中。

• 10. 什么叫双流？

  • 默认情况下，一个发送端向一个接收端发送数据时，整个网络都只有这两端的数据，这种情况下我们叫单流，但在这种情况下，发送端可以根据ACK或丢包信息推算出当前网络的一些参数，从而减少或避免网络拥塞。
  • 但在实际场景中，网络中包含来自多个发送端或接收端通信的数据，因此导致网络参数不易推算，为了接近这种真实场景，以及增强比赛难度，选手的算法还会在具有2个发送端向一个接收端发送数据的网络环境中进行测试。

• 11. 系统是否会处理已经Miss Deadline的包？

  • 在v1.6系统的版本，系统会清除已经miss deadline的block，即选手处理的block都是有可能对分数产生增益的block。

• 12. 系统如何处理丢包重传？

  • 在发生丢包时，系统会根据丢包信息创建重传包，并加入到待调度包队列，由选手决定是否重传。

• 13. 什么叫Block？

  • Block是DTP中提出的概念，简单来说就是一个比较大的数据块，但具有优先级和Deadline两个特性，优先级表示该数据块的重要程度，Deadline表示这个数据块可以存活的时间。
  • 比如客户端下载吃鸡游戏中的地图数据，就可以看做一个大的block，这个地图数据很重要，但是用户只要在20min内下完就可以使用。
  • 但由于传输限制，发送端需要把这个大的block拆分成一系列比较小的包发送到接收端，再在接收端进行组装block。

• 14. 为什么我发包很慢，还是会有丢包？

  • 丢包分为拥塞丢包和随机丢包，在单流情况下，发送端如果真的发包很慢，的确不会发生拥塞丢包。
  • 但网络中除了拥塞丢包，还有随机丢包的情况，为了更接近真实网络场景，我们在一些网络trace中加入了随机丢包率。

• 15. 调度1种的select packet函数是否会面临没有包的情况，即packet_queue为空？

  • 没有包是有可能的，因为系统是事件驱动，是根据上一个完成的事件推算出下一个事件产生的时间，并在这个时间调用select packet函数，而这个条件与是否有可发送包无关。
  
  
  • 具体的假设在cur_time调用了一次select_packet，那么下次调用该函数的时间应该是 (cur_time+1/send_rate) 或 cwnd足够的情况下调用。

算法设计问题

• 1. Step1 选包的那个算法可以用rl吗？能获得reward吗？

  • 理论上也是可以使用的，关键是选手们如何设计，举个例子，我们可以根据当前packet队列信息，组成对应的block信息，可以根据block完成度、具体deadline的时间和未完成数据大小等字段构建reward，当然，这只是个简单的举例，我们相信勤于思考的你们，能有更好的设计方案。

• 2. reno demo里面什么情况会出现cur_time < event_time?

  • cur_time表示上一次调度算法的时间，event_time表示当前事件的发生的时间。
  • 在某一时刻，发生丢包，且丢失了多个包时，接收端在传递ack信息的时候，也会把当前时刻的丢包信息同时回传。
  • 但由于系统是逐包发送的，同一时刻的多个丢包，会分别以单独的丢包事件回传给发送端。
  • 所以在发送端处理回传信息时，需要顺序处理这同一时刻的多个丢包事件。
  • 而cur_time<event_time，就是用来判断当前事件是否和上个事件是同一时刻发生的

• 3. DTP的疑问：Sender上对包进行了排序后，是不是recv端不一定能接到跟这个顺序差不多的序列？因为当中路由不是你控制的？

  • recv端不关心是否乱序，只关心是否满足deadline。