<HTML><HEAD></HEAD>
<BODY dir=ltr>
<DIV dir=ltr>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: 'Calibri'; COLOR: #000000">
<DIV>can you post your netstat –s on one of your servers that is having the 
problem?</DIV>
<DIV 
style="FONT-SIZE: small; FONT-FAMILY: 'Calibri'; FONT-WEIGHT: normal; COLOR: #000000; FONT-STYLE: normal; TEXT-DECORATION: none; DISPLAY: inline">
<DIV style="FONT: 10pt tahoma">
<DIV>&nbsp;</DIV>
<DIV style="BACKGROUND: #f5f5f5">
<DIV style="font-color: black"><B>From:</B> <A title=mrk191@gmail.com 
href="mailto:mrk191@gmail.com">Michael Krysiak</A> </DIV>
<DIV><B>Sent:</B> Saturday, June 22, 2013 7:00 AM</DIV>
<DIV><B>To:</B> <A title=kernelnewbies@kernelnewbies.org 
href="mailto:kernelnewbies@kernelnewbies.org">kernelnewbies@kernelnewbies.org</A> 
</DIV>
<DIV><B>Subject:</B> High Latency during packet transmission</DIV></DIV></DIV>
<DIV>&nbsp;</DIV></DIV>
<DIV 
style="FONT-SIZE: small; FONT-FAMILY: 'Calibri'; FONT-WEIGHT: normal; COLOR: #000000; FONT-STYLE: normal; TEXT-DECORATION: none; DISPLAY: inline">
<DIV dir=ltr><SPAN style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif">I've 
been trying to identify why we're seeing frequent stalls during packet 
transmission in our GPFS cluster in the bnx2 driver (as well as other 
NICs/drivers), but I am at the limit of my current knowledge.&nbsp; I used perf 
netdev events (as described in </SPAN><A 
style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif" 
href="http://lwn.net/Articles/397654/" 
target=_blank>http://lwn.net/Articles/397654/</A><SPAN 
style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif">) to measure the tx 
times, and see spikes such as the following:</SPAN> 
<DIV style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif">&nbsp;</DIV>
<DIV style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif"><FONT 
face="courier new, monospace">&nbsp;&nbsp; dev&nbsp;&nbsp;&nbsp; 
len&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
Qdisc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
netdevice&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
free<BR></FONT></DIV>
<DIV style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif">
<DIV><FONT face="courier new, monospace">&nbsp;&nbsp;&nbsp; 
em2&nbsp;&nbsp;&nbsp; 98 
807740.878085sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.002msec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.061msec</FONT></DIV>
<DIV><FONT face="courier new, monospace">&nbsp;&nbsp;&nbsp; 
em2&nbsp;&nbsp;&nbsp; 98 
807740.878119sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.002msec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.029msec</FONT></DIV>
<DIV><FONT face="courier new, monospace">&nbsp;&nbsp;&nbsp; 
em2&nbsp;&nbsp;&nbsp; 98 
807741.140600sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.005msec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.092msec</FONT></DIV>
<DIV><FONT face="courier new, monospace">&nbsp;&nbsp;&nbsp; em2 65226 
807742.763833sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.007msec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.436msec</FONT></DIV>
<DIV><FONT face="courier new, monospace">&nbsp;&nbsp;&nbsp; 
em2&nbsp;&nbsp;&nbsp; 66 
807727.081712sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.001msec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
16246.072msec</FONT></DIV>
<DIV><FONT face="courier new, monospace">&nbsp;&nbsp;&nbsp; 
em2&nbsp;&nbsp;&nbsp; 66 
807740.882741sec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0.001msec&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
3457.625msec</FONT></DIV></DIV>
<DIV style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif">&nbsp;</DIV>
<DIV style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif">&nbsp;</DIV>
<DIV style="FONT-SIZE: 13px; FONT-FAMILY: arial,sans-serif">Based on the source 
for netdev-times.py, the "free" column is the difference between 
trace_net_dev_xmit() and trace_kfree_skb() in net/core/dev.c, but I'm not sure 
how to dig any deeper.&nbsp; Are there any common causes for this 
behavior?&nbsp; What's the best way to further break down the time difference 
between the xmit and kfree trace points?</DIV></DIV>
<P>
<HR>
_______________________________________________<BR>Kernelnewbies mailing 
list<BR>Kernelnewbies@kernelnewbies.org<BR>http://lists.kernelnewbies.org/mailman/listinfo/kernelnewbies<BR></DIV></DIV></DIV></BODY></HTML>