Triaging Incoming Change Requests: Bug or Commit History, or Code Authorship? - ICSM 2012 Online Appendix

This web page is a companion to our ICSM 2012 submission entitled "Triaging Incoming Change Requests: Bug or Commit History, or Code Authorship?".

Results


Precision and Recall on benchmark data (JEdit)

Top-1 Top-2 Top-3 Top-4 Top-5 Top-6 Top-7 Top-8 Top-9 Top-10
Issue Number Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall
950961 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
981012 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1193683 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1292706 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1382388 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1500938 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1520774 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1533473 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1536064 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.111111111 1 0.1 1
1538051 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1538702 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.111111111 1 0.1 1
1538743 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1541009 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1541372 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1542026 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1546200 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.111111111 1 0.1 1
1548902 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1549282 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1560006 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1560584 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1565447 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1569735 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1570554 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1571629 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1571752 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1575505 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1576535 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1578785 0 0 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1584436 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1589360 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593359 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593375 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593389 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1593464 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593523 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593543 0 0 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1593576 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1594234 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1594910 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1599024 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1599709 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1600401 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1608486 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1608948 0 0 0 0 0 0 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1611766 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1617509 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1620694 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1628053 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1630805 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1638642 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1642574 0 0 0 0 0 0 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1645528 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.111111111 1 0.1 1
1646058 0 0 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1649033 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.111111111 1 0.1 1
1654543 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1658252 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1659666 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1663617 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1664900 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1668893 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.111111111 1 0.1 1
1671312 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1676041 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1687264 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1694133 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1708876 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.111111111 1 0.1 1
1708881 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1723506 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1724940 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1730845 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1739675 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.111111111 1 0.1 1
1744674 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1747300 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1748509 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1749475 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1768638 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1781853 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1788847 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1789707 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1818140 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1834620 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1854542 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1866836 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1869978 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1883809 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1887293 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1894235 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1906288 0 0 0 0 0 0 0 0 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1910061 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1912735 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1913979 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1923613 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1931333 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1936518 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1938174 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1942313 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1947676 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1961989 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1965114 0 0 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1984000 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1984974 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
1999448 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2015210 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2017514 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2060078 0 0 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2068307 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2069249 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2077326 0 0 0 0 0 0 0 0 0 0 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2089713 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2091052 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2122926 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2129419 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2169354 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2173091 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2173112 0 0 0 0 0 0 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2183929 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2199003 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2218621 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2220025 0 0 0 0 0 0 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2220033 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2446121 0 0 0 0 0 0 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2555956 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2569381 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2596087 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2646484 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2668434 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2688862 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2696564 0 0 0 0 0 0 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2744708 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2759434 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2762745 0 0 0 0 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2777073 0 0 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2781716 0 0 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2814857 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2823909 0 0 0 0 0 0 0 0 0 0 0 0 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2824045 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2842444 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2844750 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2846169 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2882702 1 1 0.5 1 0.333333333 1 0.25 1 0.2 1 0.166666667 1 0.142857143 1 0.125 1 0.111111111 1 0.1 1
2887515 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2887516 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2896464 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2911122 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0


Top-1 Top-2 Top-3 Top-4 Top-5 Top-6 Top-7 Top-8 Top-9 Top-10
Issue Number Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall
950961 1 0.5 0.5 0.5 0.6667 1 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
981012 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1193683 0 0 0 0 0.3333 0.5 0.25 0.5 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1292706 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1382388 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1500938 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1520774 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1533473 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1536064 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1538051 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1538702 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1538743 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1541009 0 0 0 0 0 0 0 0 0 0 0.1667 0.5 0.2857 1 0.25 1 0.2222 1 0.2 1
1541372 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1542026 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
1546200 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1548902 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1549282 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1560006 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1560584 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1565447 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1569735 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1570554 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1571629 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1571752 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1575505 0 0 0 0 0 0 0.25 0.5 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1576535 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1578785 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1584436 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1589360 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
1593359 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593375 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593389 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593464 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593523 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593543 0 0 0.5 0.5 0.6667 1 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1593576 1 0.5 0.5 0.5 0.3333 0.5 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1594234 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1594910 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1599024 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1599709 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
1600401 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1608486 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1608948 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1611766 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1617509 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1620694 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1628053 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1630805 1 0.5 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.1667 0.5 0.1429 0.5 0.125 0.5 0.1111 0.5 0.1 0.5
1638642 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1642574 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1645528 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1646058 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1649033 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1654543 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1658252 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1659666 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.1111 1 0.1 1
1663617 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1664900 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1668893 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
1671312 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1676041 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1687264 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1694133 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1708876 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1708881 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1723506 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1724940 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1730845 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1739675 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.1111 1 0.1 1
1744674 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1747300 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1748509 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1749475 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1768638 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1781853 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1788847 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1789707 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1818140 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1834620 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1854542 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1866836 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1869978 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1883809 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1887293 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1894235 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1906288 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1910061 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1912735 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1913979 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1923613 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1931333 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1936518 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1938174 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1942313 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1947676 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1961989 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
1965114 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1984000 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1984974 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1999448 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2015210 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2017514 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2060078 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2068307 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2069249 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2077326 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2089713 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2091052 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
2122926 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2129419 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
2169354 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.1111 1 0.1 1
2173091 0 0 0 0 0.3333 0.5 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
2173112 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2183929 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
2199003 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2218621 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2220025 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.1111 1 0.1 1
2220033 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.1111 1 0.1 1
2446121 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2555956 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2569381 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2596087 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2646484 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2668434 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2688862 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2696564 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2744708 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2759434 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
2762745 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2777073 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2781716 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2814857 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2823909 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2824045 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2842444 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2844750 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2846169 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2882702 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2887515 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2887516 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2896464 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2911122 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0


Top-1 Top-2 Top-3 Top-4 Top-5 Top-6 Top-7 Top-8 Top-9 Top-10
Issue Number Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall
950961 1 0.5 0.5 0.5 0.6667 1 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
981012 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1193683 1 0.5 0.5 0.5 0.6667 1 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1292706 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1382388 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.1111 1 0.1111 1
1500938 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1520774 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1533473 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
1536064 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
1538051 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1538702 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1538743 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1541009 0 0 0.5 0.5 0.6667 1 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1541372 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1542026 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1546200 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1548902 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1549282 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1560006 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1560584 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1565447 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1569735 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1570554 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1571629 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1571752 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1575505 0 0 0 0 0 0 0.25 0.5 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1576535 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1578785 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1584436 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1589360 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
1593359 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593375 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593389 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593464 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593523 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1593543 0 0 0.5 0.5 0.6667 1 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1593576 1 0.5 0.5 0.5 0.3333 0.5 0.5 1 0.4 1 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
1594234 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1594910 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1599024 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1599709 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1600401 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
1608486 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1608948 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1611766 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1617509 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1620694 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1628053 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1630805 0 0 0 0 0.3333 0.5 0.25 0.5 0.2 0.5 0.1667 0.5 0.1429 0.5 0.125 0.5 0.2222 1 0.2 1
1638642 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1642574 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1645528 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1646058 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1649033 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1654543 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1658252 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1659666 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1663617 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1664900 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1668893 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1671312 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1676041 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1687264 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1694133 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1708876 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1708881 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1723506 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
1724940 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1730845 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1739675 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1744674 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1747300 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1748509 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1749475 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1768638 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1781853 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1788847 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1789707 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1818140 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1834620 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1854542 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1866836 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1869978 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1883809 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1887293 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1894235 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1906288 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1910061 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1912735 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1913979 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1923613 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1931333 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1936518 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1938174 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1942313 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1947676 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1961989 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
1965114 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1984000 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1984974 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1999448 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2015210 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2017514 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2060078 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2068307 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2069249 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2077326 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2089713 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2091052 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
2122926 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2129419 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2169354 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
2173091 0 0 0 0 0 0 0 0 0.2 0.5 0.3333 1 0.2857 1 0.25 1 0.2222 1 0.2 1
2173112 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2183929 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1 1
2199003 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2218621 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2220025 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.1111 1 0.1 1
2220033 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.1111 1 0.1 1
2446121 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2555956 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2569381 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.1111 1 0.1 1
2596087 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2646484 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2668434 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2688862 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2696564 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2744708 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2759434 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2762745 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2777073 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2781716 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
2814857 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2823909 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2824045 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2842444 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2844750 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2846169 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2882702 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
2887515 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2887516 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2896464 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2911122 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0


Top-1 Top-2 Top-3 Top-4 Top-5 Top-6 Top-7 Top-8 Top-9 Top-10
Issue Number Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall
950961 0 0 0 0 0.3333 0.5 0.25 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5
981012 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1193683 0 0 0 0 0.3333 0.5 0.25 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5
1292706 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1382388 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1500938 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.125 1 0.125 1
1520774 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1533473 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1536064 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1538051 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1538702 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1538743 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1 1
1541009 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.1667 0.5 0.1429 0.5 0.1429 0.5 0.1429 0.5 0.1429 0.5
1541372 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1542026 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1546200 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1548902 0 0 0 0 0 0 0 0 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1549282 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1560006 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1560584 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1565447 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1569735 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1570554 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1571629 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1571752 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1575505 0 0 0 0 0 0 0 0 0 0 0.1667 0.5 0.1429 0.5 0.1429 0.5 0.1429 0.5 0.1429 0.5
1576535 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1578785 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1584436 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1589360 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593359 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1593375 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1593389 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1593464 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1593523 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593543 0 0 0 0 0.3333 0.5 0.5 1 0.4 1 0.3333 1 0.2857 1 0.2857 1 0.2857 1 0.2857 1
1593576 0 0 0 0 0 0 0 0 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5
1594234 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1594910 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1599024 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1111 1
1599709 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1600401 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1608486 0 0 0 0 0 0 0 0 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1608948 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1611766 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1617509 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1620694 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1628053 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1630805 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.1667 0.5 0.1429 0.5 0.125 0.5 0.1111 0.5 0.1 0.5
1638642 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1642574 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1645528 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1646058 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1649033 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1654543 0 0 0.5 1 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1658252 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1659666 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1663617 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1664900 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1668893 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1671312 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1676041 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1687264 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1694133 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1708876 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1708881 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1723506 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1724940 0 0 0 0 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1730845 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1739675 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1744674 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1747300 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1748509 0 0 0.5 1 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1749475 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1768638 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1781853 1 1 0.5 1 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1788847 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1789707 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1818140 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1834620 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1854542 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1866836 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1869978 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1883809 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1887293 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1894235 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1906288 1 1 0.5 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1
1910061 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1912735 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1913979 1 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1
1923613 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1931333 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1936518 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1111 1
1938174 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1942313 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1947676 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1961989 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.1111 1 0.1111 1
1965114 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1984000 0 0 0 0 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1984974 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1999448 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2015210 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2017514 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2060078 0 0 0 0 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
2068307 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2069249 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
2077326 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2089713 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2091052 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.4 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1
2122926 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2129419 1 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1 0.5 1
2169354 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2173091 0 0 0 0 0 0 0 0 0 0 0.1667 0.5 0.2857 1 0.25 1 0.25 1 0.25 1
2173112 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2183929 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2199003 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2218621 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2220025 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2220033 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2446121 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2555956 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2569381 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
2596087 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2646484 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2668434 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2688862 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2696564 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2744708 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2759434 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2762745 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2777073 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2781716 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2814857 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2823909 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2824045 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2842444 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2844750 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2846169 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2882702 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
2887515 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2887516 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2896464 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2911122 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0


Top-1 Top-2 Top-3 Top-4 Top-5 Top-6 Top-7 Top-8 Top-9 Top-10
Issue Number Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall
950961 0 0 0 0 0.3333 0.5 0.25 0.5 0.2 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5
981012 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1193683 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5
1292706 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1382388 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1500938 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1520774 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1533473 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1536064 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1538051 0 0 0.5 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1
1538702 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1538743 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1541009 0 0 0 0 0 0 0.25 0.5 0.2 0.5 0.1667 0.5 0.1429 0.5 0.25 1 0.25 1 0.25 1
1541372 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1542026 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1546200 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1548902 0 0 0 0 0 0 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1549282 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1560006 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1560584 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1565447 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1569735 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1570554 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1571629 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1571752 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1575505 0 0 0 0 0 0 0 0 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5 0.2 0.5
1576535 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1578785 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1584436 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1589360 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1593359 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1593375 0 0 0.5 1 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1593389 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1593464 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1593523 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1593543 0 0 0.5 0.5 0.6667 1 0.5 1 0.4 1 0.3333 1 0.2857 1 0.2857 1 0.2857 1 0.2857 1
1593576 0 0 0 0 0 0 0 0 0.2 0.5 0.3333 1 0.2857 1 0.25 1 0.25 1 0.25 1
1594234 0 0 0 0 0 0 0 0 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1594910 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1599024 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1599709 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1600401 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1608486 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1608948 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1611766 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1617509 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1620694 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1628053 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1630805 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5
1638642 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1642574 0 0 0 0 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1645528 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1646058 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1649033 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1654543 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1658252 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1659666 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1663617 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1664900 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1668893 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1671312 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1676041 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1687264 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1694133 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1708876 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1708881 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1723506 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1724940 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1730845 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1739675 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1744674 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1747300 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1748509 1 1 0.5 1 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1749475 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1768638 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1781853 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1788847 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1789707 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1818140 0 0 0.5 1 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1834620 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1854542 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1866836 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1869978 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1883809 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1887293 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1894235 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1906288 1 1 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1910061 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1912735 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
1913979 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1923613 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1931333 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1936518 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.1111 1 0.1 1
1938174 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1942313 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1947676 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
1961989 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1429 1 0.125 1 0.1111 1 0.1111 1
1965114 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
1984000 0 0 0.5 1 0.3333 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1 0.25 1
1984974 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
1999448 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2015210 0 0 0 0 0 0 0 0 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2017514 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2060078 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2068307 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2069249 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2077326 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2089713 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2091052 0 0 0.5 0.5 0.3333 0.5 0.25 0.5 0.2 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5 0.1667 0.5
2122926 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2129419 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2169354 0 0 0 0 0 0 0 0 0 0 0 0 0.1429 1 0.125 1 0.125 1 0.125 1
2173091 0 0 0 0 0.3333 0.5 0.25 0.5 0.4 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1 0.3333 1
2173112 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2183929 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2199003 0 0 0 0 0 0 0 0 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2218621 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2220025 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2220033 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2446121 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2555956 0 0 0 0 0 0 0 0 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2569381 0 0 0 0 0 0 0 0 0 0 0.1667 1 0.1429 1 0.125 1 0.125 1 0.125 1
2596087 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2646484 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2668434 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2688862 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2696564 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.125 1 0.1111 1 0.1111 1
2744708 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2759434 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2762745 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2777073 0 0 0 0 0 0 0 0 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2781716 0 0 0 0 0 0 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2814857 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2823909 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2824045 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2842444 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2844750 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2846169 0 0 0 0 0.3333 1 0.25 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1 0.2 1
2882702 0 0 0 0 0 0 0.25 1 0.2 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1 0.1667 1
2887515 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2887516 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
2896464 0 0 0.5 1 0.3333 1 0.25 1 0.2 1 0.1667 1 0.1429 1 0.1429 1 0.1429 1 0.1429 1
2911122 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Authors

  • Mario Linares-Vásquez - The College of William and Mary. E-mail: mlinarev at wm dot edu
  • Kamal Hosen - Whichita State University. Email: mxhossen at cs dot wichita dot edu
  • Hoang Dang - Whichita State University. Email: hndang at cs dot wichita dot edu
  • Huzefa Kagdi - Whichita State University. Email: kagdi at cs dot wichita dot edu
  • Malcom Gethers - The College of William and Mary. E-mail: mgethers at cs dot wm dot edu
  • Denys Poshyvanyk - The College of William and Mary. E-mail: denys at cs dot wm dot edu