source: trunk/lib/Stats.cc @ 552

Last change on this file since 552 was 552, checked in by Peter Johansson, 14 years ago

fixes linetype Copyright

  • Property svn:eol-style set to native
  • Property svn:keywords set to Id
File size: 13.3 KB
Line 
1// $Id: Stats.cc 552 2008-01-08 14:40:37Z peter $
2
3/*
4  Copyright (C) 2005 Peter Johansson
5  Copyright (C) 2006, 2007 Jari Häkkinen, Peter Johansson
6
7  This file is part of svndigest, http://trac.thep.lu.se/svndigest
8
9  svndigest is free software; you can redistribute it and/or modify it
10  under the terms of the GNU General Public License as published by
11  the Free Software Foundation; either version 2 of the License, or
12  (at your option) any later version.
13
14  svndigest is distributed in the hope that it will be useful, but
15  WITHOUT ANY WARRANTY; without even the implied warranty of
16  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
17  General Public License for more details.
18
19  You should have received a copy of the GNU General Public License
20  along with this program; if not, write to the Free Software
21  Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
22  02111-1307, USA.
23*/
24
25#include "Stats.h"
26
27#include "Functor.h"
28#include "GnuplotFE.h"
29#include "SVNblame.h"
30#include "SVNinfo.h"
31#include "utility.h"
32
33#include <algorithm>
34#include <cassert>
35#include <cstdlib>
36#include <fstream>
37#include <iostream>
38#include <iterator>
39#include <map>
40#include <numeric>
41#include <string>
42#include <sstream>
43#include <unistd.h>
44#include <utility>
45#include <vector>
46
47
48namespace theplu{
49namespace svndigest{
50
51
52  Stats::Stats(const std::string& path)
53    : stats_(std::vector<Author2Vector>(LineTypeParser::total+1))
54  {
55    // Make sure latest revision is set properly
56    SVNinfo svn_info(path);
57    revision_=svn_info.rev();
58    last_changed_rev_=svn_info.last_changed_rev();
59  }
60
61
62  Stats::~Stats(void)
63  {
64  }
65
66
67  void Stats::accumulate(std::vector<u_int>& vec) const
68  {
69    if (vec.empty()){
70      vec.resize(last_changed_rev(),0);
71      return;
72    }
73    std::partial_sum(vec.begin(),vec.end(),vec.begin());
74    // static_cast to remove annoying compiler warning
75    if (vec.size() < static_cast<size_t>(revision()+1))
76      vec.insert(vec.end(), revision()+1-vec.size(), vec.back());
77  }
78
79
80  void Stats::accumulate_stats(void)
81  {
82    for (std::set<std::string>::const_iterator iter(authors().begin());
83         iter!=authors().end(); ++iter) {
84      std::vector<u_int>& code = code_stats()[*iter];
85      accumulate(code);
86      std::vector<u_int>& comments = comment_stats()[*iter];
87      accumulate(comments);
88      std::vector<u_int>& other = other_stats()[*iter];
89      accumulate(other);
90    }
91  }
92
93
94  void Stats::add(const std::string& user, const u_int& rev, 
95                  const LineTypeParser::line_type& lt, u_int n)
96  {
97    assert(user.size());
98    add_author(user);
99
100    // Peter remove repeat
101    std::vector<u_int>& code = code_stats()[user];
102    if (code.size() < rev+1){
103      code.reserve(rev+1);
104      code.resize(rev);
105      if (lt == LineTypeParser::code)
106        code.push_back(n);
107      else 
108        code.push_back(0);
109    }
110    else if (lt == LineTypeParser::code)
111      code[rev]+=n;
112
113    std::vector<u_int>& comments = comment_stats()[user];
114    if (comments.size() < rev+1){
115      comments.reserve(revision() + 1);
116      comments.insert(comments.end(), rev - comments.size(), 0);
117      if (lt == LineTypeParser::comment)
118        comments.push_back(n);
119      else 
120        comments.push_back(0);
121    }
122    else if (lt == LineTypeParser::comment)
123      comments[rev]+=n;
124
125    std::vector<u_int>& other = other_stats()[user];
126    if (other.size() < rev+1){
127      other.reserve(revision() + 1);
128      other.insert(other.end(), rev - other.size(), 0);
129      if (lt == LineTypeParser::other)
130        other.push_back(n);
131      else 
132        other.push_back(0);
133    }
134    else if (lt == LineTypeParser::other)
135      other[rev]+=n;
136  }
137
138
139  void Stats::add_author(std::string name)
140  {
141    authors_.insert(name);
142  }
143
144
145  void Stats::add_authors(std::set<std::string>::const_iterator first, 
146                          std::set<std::string>::const_iterator last)
147  {
148    authors_.insert(first, last);
149  }
150
151
152  const std::set<std::string>& Stats::authors(void) const
153  {
154    return authors_;
155  }
156
157
158  void Stats::calc_all(void)
159  {
160    std::vector<u_int> init(revision()+1);
161    code_stats()["all"]=std::accumulate(code_stats().begin(), 
162                                        code_stats().end(), init,
163                                        PairValuePlus<std::string,u_int>());
164    comment_stats()["all"]=std::accumulate(comment_stats().begin(), 
165                                           comment_stats().end(), init, 
166                                           PairValuePlus<std::string,u_int>());
167    other_stats()["all"]=std::accumulate(other_stats().begin(), 
168                                         other_stats().end(), init,
169                                         PairValuePlus<std::string,u_int>());
170    copyright_stats()["all"]=std::accumulate(copyright_stats().begin(), 
171                                             copyright_stats().end(), init,
172                                             PairValuePlus<std::string,u_int>());
173    VectorPlus<u_int> vp;
174    comment_or_copy_stats()["all"] = 
175      vp(comment_stats()["all"], copyright_stats()["all"]);
176
177    total_stats()["all"] = 
178      vp(vp(code_stats()["all"], comment_or_copy_stats()["all"]),
179            other_stats()["all"]);
180  }
181
182
183  void Stats::calc_total(void)
184  {
185    for (std::set<std::string>::const_iterator iter(authors().begin());
186         iter!=authors().end(); ++iter) {
187      std::vector<u_int>& code = code_stats()[*iter];
188      std::vector<u_int>& comments = comment_stats()[*iter];
189      std::vector<u_int>& other = other_stats()[*iter];
190      std::vector<u_int>& copy = copyright_stats()[*iter];
191
192      VectorPlus<u_int> vp;
193      total_stats()[*iter] = vp(vp(vp(code, comments),other),copy);
194    }
195
196  }
197
198
199  void Stats::calc_comment_or_copy(void)
200  {
201    for (std::set<std::string>::const_iterator iter(authors().begin());
202         iter!=authors().end(); ++iter) {
203      std::vector<u_int>& comments = comment_stats()[*iter];
204      std::vector<u_int>& copy = copyright_stats()[*iter];
205
206      VectorPlus<u_int> vp;
207      comment_or_copy_stats()[*iter] = vp(comments, copy);
208    }
209
210  }
211
212
213  u_int Stats::code(const std::string& user) const
214  {
215    return get_back(code_stats(), user);
216  }
217
218
219  u_int Stats::comments(const std::string& user) const
220  {
221    return get_back(comment_or_copy_stats(), user);
222  }
223
224
225  u_int Stats::empty(const std::string& user) const
226  {
227    return get_back(other_stats(), user);
228  }
229
230
231  u_int Stats::get_back(const Author2Vector& m, std::string user) const
232  {
233    A2VConstIter iter(m.find(std::string(user)));
234    if (iter==m.end() || iter->second.empty()) 
235      return 0;
236    return iter->second.back();
237  }
238
239
240  const std::vector<u_int>& Stats::get_vector(const Author2Vector& m, 
241                                              std::string user) const
242  {
243    A2VConstIter iter(m.find(std::string(user)));
244    if (iter==m.end()) 
245      throw std::runtime_error(user+std::string(" not found i Stats"));
246    return iter->second;
247  }
248
249
250  svn_revnum_t Stats::last_changed_rev(void) const
251  {
252    return last_changed_rev_;
253  }
254
255
256  u_int Stats::lines(const std::string& user) const
257  {
258    return get_back(total_stats(), user);
259  }
260
261
262  void Stats::load(std::istream& is, Author2Vector& m)
263  {
264    while (m.size() < authors().size()+1 && is.good()) {
265      std::string name;
266      std::getline(is, name);
267      if (name.empty())
268        continue;
269      std::vector<u_int>& vec=m[name];
270      svn_revnum_t rev=0;
271      while (rev < last_changed_rev() && is.good()) {
272        u_int count;
273        is >> count;
274        if ( rev+1 > static_cast<svn_revnum_t>(vec.size()) )
275          vec.resize(rev+1);
276        vec[rev] = count;
277        is >> rev;
278      }
279    }
280  }
281
282
283  bool Stats::load_cache(std::istream& is)
284  {
285    std::string str;
286    getline(is, str);
287    if (str!=cache_check_str())
288      return false;
289    svn_revnum_t rev;
290    is >> rev;
291    if (rev<last_changed_rev()){
292      return false; // cache is not up to date
293    }
294    reset();
295    size_t a_size=0;
296    is >> a_size;
297    while (authors().size()<a_size && is.good()){
298      getline(is, str);
299      if (str.size())
300        add_author(str);
301    }
302    getline(is, str);
303    if (str!=cache_check_str())
304      return false;
305    for (size_t i=0; i<stats_.size(); ++i){
306      load(is, stats_[i]);
307      getline(is, str);
308      if (str!=cache_check_str())
309        return false;
310    }
311    return true;
312  }
313
314
315  void Stats::map_add(A2VConstIter first1, A2VConstIter last1, 
316                      Author2Vector& map)
317  {
318    A2VIter first2(map.begin());
319    Author2Vector::key_compare compare;
320    while ( first1 != last1) { 
321      // key of first1 less than key of first2
322      if (first2==map.end() || compare(first1->first,first2->first)) {
323        first2 = map.insert(first2, *first1);
324        ++first1;
325      }
326      // key of first2 less than key of first1
327      else if ( compare(first2->first, first1->first)) {
328        ++first2;
329      }
330      // keys are equivalent
331      else {
332        VectorPlus<Author2Vector::mapped_type::value_type> vp;
333        first2->second = vp(first1->second, first2->second);
334        ++first1;
335        ++first2;
336      }
337    }
338  }
339
340
341  void Stats::parse(const std::string& path)
342  {
343    do_parse(path);
344    calc_comment_or_copy();
345    calc_total();
346    calc_all();
347  }
348
349  std::string Stats::plot(const std::string& filename,
350                          const std::string& linetype) const
351  {
352    plot_init(filename);
353    GnuplotFE* gp=GnuplotFE::instance();
354    const Author2Vector* stat=NULL;
355    if (linetype=="total")
356      stat = &total_stats();
357    else if (linetype=="code")
358      stat = &code_stats();
359    else if (linetype=="comments")
360      stat = &comment_or_copy_stats();
361    else if (linetype=="empty")
362      stat = &other_stats();
363    assert(stat);
364    assert(stat->size());
365    assert(stat->find("all")!=stat->end());
366    std::vector<u_int> total=get_vector(*stat, "all");   
367    double yrange_max=1.03*total.back()+1;
368    gp->yrange(yrange_max);
369
370    typedef std::vector<std::pair<std::string, std::vector<u_int> > > vec_type;
371    vec_type author_cont;
372    author_cont.reserve(stat->size());
373    for (std::set<std::string>::const_iterator i=authors_.begin(); 
374         i != authors_.end(); ++i) {
375      if (lines(*i)) {
376        assert(stat->find(*i)!=stat->end());
377        author_cont.push_back(std::make_pair(*i,get_vector(*stat,*i)));
378      }
379    }
380
381    LessReversed<std::vector<u_int> > lr;
382    PairSecondCompare<std::string, std::vector<u_int>, 
383      LessReversed<std::vector<u_int> > > compare(lr);
384    std::sort(author_cont.begin(), author_cont.end(), compare);
385
386    size_t plotno=author_cont.size();
387    std::stringstream ss;
388    vec_type::iterator end(author_cont.end());
389    for (vec_type::iterator i(author_cont.begin()); i!=end; ++i) {
390      ss.str("");
391      ss << "set key height " << 2*plotno;
392      gp->command(ss.str());
393      ss.str("");
394      ss << get_back(*stat, i->first) << " " << i->first;
395      gp->yrange(yrange_max);
396      gp->linetitle(ss.str());
397      ss.str("");
398      ss << "steps " << --plotno+2;
399      gp->linestyle(ss.str());
400      gp->plot(i->second);
401    }
402    ss.str("");
403    ss << get_back(*stat, "all") << " total";
404    gp->command("set key height 0");
405    gp->linetitle(ss.str());
406    gp->linestyle("steps 1");
407    gp->plot(total);
408
409    gp->command("unset multiplot");
410    gp->yrange();
411
412    return filename;
413  }
414
415
416  void Stats::plot_init(const std::string& filename) const
417  {
418    GnuplotFE* gp=GnuplotFE::instance();
419    gp->command("set term png");
420    gp->command("set output '"+filename+"'");
421    gp->command("set xtics nomirror");
422    gp->command("set ytics nomirror");
423    gp->command("set key default");
424    gp->command("set key left Left reverse");
425    gp->command("set multiplot");
426  }
427
428
429  void Stats::plot_summary(const std::string& filename) const
430  {
431    plot_init(filename);
432    GnuplotFE* gp=GnuplotFE::instance();
433    std::vector<u_int> total = get_vector(total_stats(), "all");
434    double yrange_max=1.03*total.back()+1;
435    gp->yrange(yrange_max);
436    std::stringstream ss;
437   
438    ss.str("");
439    std::vector<u_int> x(get_vector(code_stats(), "all"));
440    ss << x.back() << " code";
441    gp->command("set key height 2");
442    gp->linetitle(ss.str());
443    gp->linestyle("steps 2");
444    gp->plot(x);
445
446    ss.str("");
447    x = get_vector(comment_or_copy_stats(), "all");
448    ss << x.back() << " comment";
449    gp->command("set key height 4");
450    gp->linetitle(ss.str());
451    gp->linestyle("steps 3");
452    gp->plot(x);
453
454    ss.str("");
455    x = get_vector(other_stats(), "all");
456    ss << x.back() << " other";
457    gp->command("set key height 6");
458    gp->linetitle(ss.str());
459    gp->linestyle("steps 4");
460    gp->plot(x);
461
462    ss.str("");
463    ss << total.back() << " total";
464    gp->command("set key height 0");
465    gp->linetitle(ss.str());
466    gp->linestyle("steps 1");
467    gp->plot(total);
468
469    gp->command("unset multiplot");
470    gp->yrange();
471  }
472
473
474  void Stats::print(std::ostream& os) const
475  {
476    os << cache_check_str() << "\n";
477    os << last_changed_rev() << " ";
478    os << authors().size() << " ";
479
480    std::copy(authors().begin(), authors().end(), 
481              std::ostream_iterator<std::string>(os, "\n"));
482    os << cache_check_str() << "\n";
483    for (size_t i=0; i<stats_.size(); ++i){
484      print(os, stats_[i]);
485      os << cache_check_str() << "\n";
486    }
487  }
488
489
490  void Stats::print(std::ostream& os, const Author2Vector& m) const
491  {
492    for (A2VConstIter i(m.begin()); i!=m.end(); ++i){
493      os << i->first << "\n";
494      os << i->second.front() << " ";
495      for (size_t j=1; j<i->second.size(); ++j)
496        if (i->second[j] != i->second[j-1])
497          os << j << " " << i->second[j] - i->second[j-1] << " ";
498      os << last_changed_rev()+1 << " ";
499    }
500  }
501
502  void Stats::reset(void)
503  {
504    for (size_t i=0; i<stats_.size(); ++i){
505      stats_[i].clear();
506      std::vector<u_int> vec;
507      stats_[i]["all"] = vec;
508    }
509    authors_.clear();
510  }
511
512
513  Stats& Stats::operator+=(const Stats& rhs)
514  {
515    revision_ = std::max(revision_, rhs.revision_);
516    last_changed_rev_ = std::max(last_changed_rev_, rhs.last_changed_rev_);
517    add_authors(rhs.authors().begin(), rhs.authors().end());
518    assert(stats_.size()==rhs.stats_.size());
519    for (size_t i=0; i<stats_.size(); ++i)
520      map_add(rhs.stats_[i].begin(), rhs.stats_[i].end(), stats_[i]);
521   
522    return *this;
523  }
524
525 
526  size_t Stats::operator()(int linetype, std::string author, size_t rev) const
527  {
528    assert(linetype<=LineTypeParser::total);
529    A2VConstIter i = stats_[linetype].find(author);
530    if (i==stats_[linetype].end())
531      throw std::runtime_error(author + " does not exist");
532    return i->second[rev];
533  }
534
535}} // end of namespace svndigest and namespace theplu
Note: See TracBrowser for help on using the repository browser.