<div dir="ltr"><div dir="ltr"><div>I believe there is no definite methodology, it is all experimental and dependent on the applications you are running and as Valdis told on the changes you would like to make. Basically, when a paper offers a new algorithm or design then they should have tested it on their own testbed. They may report their experimental methodology in the paper or even have the experiment scripts on the Github. However, other than the applications, and your changes, the testbed itself is also important. Their system may work with a CPU frequency different than yours. So you might not see the performance gain as they reported and achieved in the paper.</div><div><br></div><div>For instance, concerning some network enhancement in TCP stack, some people may improve the end to end latency just 10s of microseconds and you suppose to capture those minor microseconds in your experiments. It is really hard but not impossible, it basically takes time and effort + *extensive evaluations*.  <br></div><div><br></div><div>I know that nowadays system software papers are pretty practical, and they try to build a working systems. I'm particularly talking about SOSP and OSDI papers.</div></div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, Oct 16, 2018 at 3:50 AM Carter Cheng <<a href="mailto:cartercheng@gmail.com">cartercheng@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Basically I am looking for methodology guidelines for doing my own testing on a bunch of techniques in different papers and seeing what the performance impact is overall. Are there guidelines for doing such things?</div><br><div class="gmail_quote"><div dir="ltr">On Tue, Oct 16, 2018 at 3:19 AM <<a href="mailto:valdis.kletnieks@vt.edu" target="_blank">valdis.kletnieks@vt.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Tue, 16 Oct 2018 01:23:45 +0800, Carter Cheng said:<br>
> I am actually looking at some changes that litter the kernel with short<br>
> code snippets and thus according to papers i have read can result in CPU<br>
> hits of around 48% when applied is userspace.<br>
<br>
You're going to need to be more specific.  Note that 48% increase in a micro-benchmark<br>
doesn't necessarily translate to a measurable performance change - for example, I have a<br>
kernel build running right now with a cold file cache, and it's only using 6-8% of the CPU in<br>
kernel mode (the rest being gcc in userspace and waiting for the spinning-oxide disk). If the<br>
entire kernel slowed down by 50% that would only be 3-4% change visible at the macro level.<br>
<br>
>  but I haven't seen any kernel space papers measuring degradations in overall<br>
> system performance when adding safety checks(perhaps redundant sometimes) into<br>
> the kernel<br>
<br>
Well.. here's the thing.  Papers are usually written by academics and trade<br>
journal pundits, not people who write code for a living.  As a result, they end<br>
up comparing released code versions.  As a worked example, see how the whole<br>
Spectre thing turned out - the *initial* fears were that we'd see a huge<br>
performance drop.  But the patches that finally shipped for the Linux kernel<br>
were after a bunch of clever people had thought about it and come up with less<br>
intrusive ways to close the security issue.<br>
<br>
(Having said that, the guys at Phoronix do a reasonable job of doing<br>
macro-level benchmarks of each kernel release and pointing out if there's a big<br>
hit in a subsystem).<br>
<br>
And as I said earlier - sometimes it doesn't matter, because correctness trumps performance.<br>
</blockquote></div>
_______________________________________________<br>
Kernelnewbies mailing list<br>
<a href="mailto:Kernelnewbies@kernelnewbies.org" target="_blank">Kernelnewbies@kernelnewbies.org</a><br>
<a href="https://lists.kernelnewbies.org/mailman/listinfo/kernelnewbies" rel="noreferrer" target="_blank">https://lists.kernelnewbies.org/mailman/listinfo/kernelnewbies</a><br>
</blockquote></div>