source: trunk/lib/Stats.cc @ 664

Last change on this file since 664 was 664, checked in by Peter Johansson, 13 years ago

fixes #292

  • Property svn:eol-style set to native
  • Property svn:keywords set to Id
File size: 14.0 KB
Line 
1// $Id: Stats.cc 664 2008-06-13 01:23:51Z peter $
2
3/*
4  Copyright (C) 2005 Peter Johansson
5  Copyright (C) 2006, 2007 Jari Häkkinen, Peter Johansson
6
7  This file is part of svndigest, http://trac.thep.lu.se/svndigest
8
9  svndigest is free software; you can redistribute it and/or modify it
10  under the terms of the GNU General Public License as published by
11  the Free Software Foundation; either version 2 of the License, or
12  (at your option) any later version.
13
14  svndigest is distributed in the hope that it will be useful, but
15  WITHOUT ANY WARRANTY; without even the implied warranty of
16  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
17  General Public License for more details.
18
19  You should have received a copy of the GNU General Public License
20  along with this program; if not, write to the Free Software
21  Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
22  02111-1307, USA.
23*/
24
25#include "Stats.h"
26
27#include "Functor.h"
28#include "GnuplotFE.h"
29#include "SVNblame.h"
30#include "SVNinfo.h"
31#include "utility.h"
32
33#include <algorithm>
34#include <cassert>
35#include <cstdlib>
36#include <fstream>
37#include <iostream>
38#include <iterator>
39#include <map>
40#include <numeric>
41#include <string>
42#include <sstream>
43#include <unistd.h>
44#include <utility>
45#include <vector>
46
47
48namespace theplu{
49namespace svndigest{
50
51
52  Stats::Stats(const std::string& path)
53    : stats_(std::vector<Author2Vector>(LineTypeParser::total+1))
54  {
55    // Make sure latest revision is set properly
56    SVNinfo svn_info(path);
57    revision_=svn_info.rev();
58    last_changed_rev_=svn_info.last_changed_rev();
59    reset();
60  }
61
62
63  Stats::~Stats(void)
64  {
65  }
66
67
68  void Stats::accumulate(std::vector<unsigned int>& vec,
69                         svn_revnum_t rev) const
70  {
71    if (vec.empty()){
72      // just to allow call to vec.back() below
73      vec.resize(1,0);
74    }
75    else if (vec.begin()+rev < vec.end())
76      std::partial_sum(vec.begin()+rev,vec.end(),vec.begin()+rev);
77    // static_cast to remove annoying compiler warning
78    if (vec.size() < static_cast<size_t>(revision()+1))
79      vec.resize(revision()+1, vec.back());
80  }
81
82
83  void Stats::accumulate_stats(svn_revnum_t rev)
84  {
85    for (std::set<std::string>::const_iterator iter(authors().begin());
86         iter!=authors().end(); ++iter) {
87      std::vector<unsigned int>& code = code_stats()[*iter];
88      accumulate(code, rev);
89      std::vector<unsigned int>& comments = comment_stats()[*iter];
90      accumulate(comments, rev);
91      std::vector<unsigned int>& other = other_stats()[*iter];
92      accumulate(other, rev);
93      std::vector<unsigned int>& copyright = copyright_stats()[*iter];
94      accumulate(copyright, rev);
95    }
96  }
97
98
99  void Stats::add(const std::string& user, const unsigned int& rev, 
100                  const LineTypeParser::line_type& lt, unsigned int n)
101  {
102    assert(user.size());
103    add_author(user);
104
105    add(code_stats()[user], rev, lt==LineTypeParser::code, n);
106    add(comment_stats()[user], rev, lt==LineTypeParser::comment, n);
107    add(other_stats()[user], rev, lt==LineTypeParser::other, n);
108    add(copyright_stats()[user], rev, lt==LineTypeParser::copyright, n);
109  }
110
111
112  void Stats::add(std::vector<unsigned int>& vec, unsigned int rev, bool x,
113                  unsigned int n)
114  { 
115    if (vec.size() < rev+1){
116      vec.reserve(rev+1);
117      vec.resize(rev);
118      if (x) {
119        assert(vec.size()+1<vec.max_size());
120        vec.push_back(n);
121      }
122      else {
123        assert(vec.size()+1<vec.max_size());
124        vec.push_back(0);
125      }
126    }
127    else if (x)
128      vec[rev]+=n;
129  }
130
131
132  void Stats::add_author(std::string name)
133  {
134    authors_.insert(name);
135  }
136
137
138  void Stats::add_authors(std::set<std::string>::const_iterator first, 
139                          std::set<std::string>::const_iterator last)
140  {
141    authors_.insert(first, last);
142  }
143
144
145  const std::set<std::string>& Stats::authors(void) const
146  {
147    return authors_;
148  }
149
150
151  void Stats::calc_all(void)
152  {
153    std::vector<unsigned int> init(revision()+1);
154    code_stats()["all"]=std::accumulate(code_stats().begin(), 
155                                        code_stats().end(), init,
156                                        PairValuePlus<std::string,unsigned int>());
157    comment_stats()["all"]=std::accumulate(comment_stats().begin(), 
158                                           comment_stats().end(), init, 
159                                           PairValuePlus<std::string,unsigned int>());
160    other_stats()["all"]=std::accumulate(other_stats().begin(), 
161                                         other_stats().end(), init,
162                                         PairValuePlus<std::string,unsigned int>());
163    copyright_stats()["all"]=std::accumulate(copyright_stats().begin(), 
164                                             copyright_stats().end(), init,
165                                             PairValuePlus<std::string,unsigned int>());
166    VectorPlus<unsigned int> vp;
167    comment_or_copy_stats()["all"] = 
168      vp(comment_stats()["all"], copyright_stats()["all"]);
169
170    total_stats()["all"] = 
171      vp(vp(code_stats()["all"], comment_or_copy_stats()["all"]),
172            other_stats()["all"]);
173  }
174
175
176  void Stats::calc_total(void)
177  {
178    for (std::set<std::string>::const_iterator iter(authors().begin());
179         iter!=authors().end(); ++iter) {
180      std::vector<unsigned int>& code = code_stats()[*iter];
181      std::vector<unsigned int>& comments = comment_stats()[*iter];
182      std::vector<unsigned int>& other = other_stats()[*iter];
183      std::vector<unsigned int>& copy = copyright_stats()[*iter];
184
185      VectorPlus<unsigned int> vp;
186      total_stats()[*iter] = vp(vp(vp(code, comments),other),copy);
187    }
188
189  }
190
191
192  void Stats::calc_comment_or_copy(void)
193  {
194    for (std::set<std::string>::const_iterator iter(authors().begin());
195         iter!=authors().end(); ++iter) {
196      std::vector<unsigned int>& comments = comment_stats()[*iter];
197      std::vector<unsigned int>& copy = copyright_stats()[*iter];
198
199      VectorPlus<unsigned int> vp;
200      comment_or_copy_stats()[*iter] = vp(comments, copy);
201    }
202
203  }
204
205
206  unsigned int Stats::code(const std::string& user) const
207  {
208    return get_back(code_stats(), user);
209  }
210
211
212  unsigned int Stats::comments(const std::string& user) const
213  {
214    return get_back(comment_or_copy_stats(), user);
215  }
216
217
218  unsigned int Stats::empty(const std::string& user) const
219  {
220    return get_back(other_stats(), user);
221  }
222
223
224  unsigned int Stats::get_back(const Author2Vector& m, std::string user) const
225  {
226    A2VConstIter iter(m.find(std::string(user)));
227    if (iter==m.end() || iter->second.empty()) 
228      return 0;
229    return iter->second.back();
230  }
231
232
233  const std::vector<unsigned int>& Stats::get_vector(const Author2Vector& m, 
234                                              std::string user) const
235  {
236    A2VConstIter iter(m.find(std::string(user)));
237    if (iter==m.end()) 
238      throw std::runtime_error(user+std::string(" not found i Stats"));
239    return iter->second;
240  }
241
242
243  svn_revnum_t Stats::last_changed_rev(void) const
244  {
245    return last_changed_rev_;
246  }
247
248
249  unsigned int Stats::lines(const std::string& user) const
250  {
251    return get_back(total_stats(), user);
252  }
253
254
255  void Stats::load(std::istream& is, Author2Vector& m)
256  {
257    while (m.size() < authors().size()+1 && is.good()) {
258      std::string name;
259      std::getline(is, name);
260      std::vector<unsigned int>& vec=m[name];
261      std::string line;
262      std::getline(is, line);
263      std::stringstream ss(line);
264      while (ss.good()) {
265        svn_revnum_t rev=0;
266        unsigned int count=0;
267        ss >> rev;
268        ss >> count;
269        assert(rev<=revision_);
270        if (!count)
271          break;
272        vec.resize(std::max(vec.size(),static_cast<size_t>(rev+1)));
273        vec[rev]=count;
274      }
275      accumulate(vec);
276    }
277  }
278
279
280  svn_revnum_t Stats::load_cache(std::istream& is)
281  {
282    std::string str;
283    getline(is, str);
284    if (str!=cache_check_str())
285      return 0;
286    svn_revnum_t rev;
287    is >> rev;
288    reset();
289    size_t a_size=0;
290    is >> a_size;
291    while (authors().size()<a_size && is.good()){
292      getline(is, str);
293      if (str.size())
294        add_author(str);
295    }
296    getline(is, str);
297    if (str!=cache_check_str()) {
298      return 0;
299    }
300    for (size_t i=0; i<stats_.size(); ++i){
301      load(is, stats_[i]);
302      getline(is, str);
303      if (str!=cache_check_str()) {
304        return 0;
305      }
306    }
307    return rev;
308  }
309
310
311  void Stats::map_add(A2VConstIter first1, A2VConstIter last1, 
312                      Author2Vector& map)
313  {
314    A2VIter first2(map.begin());
315    Author2Vector::key_compare compare;
316    while ( first1 != last1) { 
317      // key of first1 less than key of first2
318      if (first2==map.end() || compare(first1->first,first2->first)) {
319        first2 = map.insert(first2, *first1);
320        ++first1;
321      }
322      // key of first2 less than key of first1
323      else if ( compare(first2->first, first1->first)) {
324        ++first2;
325      }
326      // keys are equivalent
327      else {
328        VectorPlus<Author2Vector::mapped_type::value_type> vp;
329        first2->second = vp(first1->second, first2->second);
330        ++first1;
331        ++first2;
332      }
333    }
334  }
335
336
337  void Stats::parse(const std::string& path, svn_revnum_t rev)
338  {
339    do_parse(path, rev);
340    calc_comment_or_copy();
341    calc_total();
342    calc_all();
343    assert(total_stats().size());
344    assert(code_stats().size());
345    assert(comment_or_copy_stats().size());
346    assert(other_stats().size());
347  }
348
349  std::string Stats::plot(const std::string& filename,
350                          const std::string& linetype) const
351  {
352    assert(total_stats().size());
353    plot_init(filename);
354    GnuplotFE* gp=GnuplotFE::instance();
355    const Author2Vector* stat=NULL;
356    if (linetype=="total")
357      stat = &total_stats();
358    else if (linetype=="code")
359      stat = &code_stats();
360    else if (linetype=="comments")
361      stat = &comment_or_copy_stats();
362    else if (linetype=="empty")
363      stat = &other_stats();
364    assert(stat);
365    assert(stat->size());
366    assert(stat->find("all")!=stat->end());
367    std::vector<unsigned int> total=get_vector(*stat, "all");   
368    double yrange_max=1.03*total.back()+1;
369    gp->yrange(yrange_max);
370
371    typedef std::vector<std::pair<std::string, std::vector<unsigned int> > > vec_type;
372    vec_type author_cont;
373    author_cont.reserve(stat->size());
374    for (std::set<std::string>::const_iterator i=authors_.begin(); 
375         i != authors_.end(); ++i) {
376      if (lines(*i)) {
377        assert(stat->find(*i)!=stat->end());
378        author_cont.push_back(std::make_pair(*i,get_vector(*stat,*i)));
379      }
380    }
381
382    LessReversed<std::vector<unsigned int> > lr;
383    PairSecondCompare<std::string, std::vector<unsigned int>, 
384      LessReversed<std::vector<unsigned int> > > compare(lr);
385    std::sort(author_cont.begin(), author_cont.end(), compare);
386
387    size_t plotno=author_cont.size();
388    std::stringstream ss;
389    vec_type::iterator end(author_cont.end());
390    for (vec_type::iterator i(author_cont.begin()); i!=end; ++i) {
391      ss.str("");
392      ss << "set key height " << 2*plotno;
393      gp->command(ss.str());
394      ss.str("");
395      ss << get_back(*stat, i->first) << " " << i->first;
396      gp->yrange(yrange_max);
397      gp->linetitle(ss.str());
398      ss.str("");
399      ss << "steps " << --plotno+2;
400      gp->linestyle(ss.str());
401      gp->plot(i->second);
402    }
403    ss.str("");
404    ss << get_back(*stat, "all") << " total";
405    gp->command("set key height 0");
406    gp->linetitle(ss.str());
407    gp->linestyle("steps 1");
408    gp->plot(total);
409
410    gp->command("unset multiplot");
411    gp->yrange();
412
413    return filename;
414  }
415
416
417  void Stats::plot_init(const std::string& filename) const
418  {
419    GnuplotFE* gp=GnuplotFE::instance();
420    gp->command("set term png");
421    gp->command("set output '"+filename+"'");
422    gp->command("set xtics nomirror");
423    gp->command("set ytics nomirror");
424    gp->command("set key default");
425    gp->command("set key left Left reverse");
426    gp->command("set multiplot");
427  }
428
429
430  void Stats::plot_summary(const std::string& filename) const
431  {
432    plot_init(filename);
433    GnuplotFE* gp=GnuplotFE::instance();
434    std::vector<unsigned int> total = get_vector(total_stats(), "all");
435    double yrange_max=1.03*total.back()+1;
436    gp->yrange(yrange_max);
437    std::stringstream ss;
438   
439    ss.str("");
440    std::vector<unsigned int> x(get_vector(code_stats(), "all"));
441    ss << x.back() << " code";
442    gp->command("set key height 2");
443    gp->linetitle(ss.str());
444    gp->linestyle("steps 2");
445    gp->plot(x);
446
447    ss.str("");
448    x = get_vector(comment_or_copy_stats(), "all");
449    ss << x.back() << " comment";
450    gp->command("set key height 4");
451    gp->linetitle(ss.str());
452    gp->linestyle("steps 3");
453    gp->plot(x);
454
455    ss.str("");
456    x = get_vector(other_stats(), "all");
457    ss << x.back() << " other";
458    gp->command("set key height 6");
459    gp->linetitle(ss.str());
460    gp->linestyle("steps 4");
461    gp->plot(x);
462
463    ss.str("");
464    ss << total.back() << " total";
465    gp->command("set key height 0");
466    gp->linetitle(ss.str());
467    gp->linestyle("steps 1");
468    gp->plot(total);
469
470    gp->command("unset multiplot");
471    gp->yrange();
472  }
473
474
475  void Stats::print(std::ostream& os) const
476  {
477    os << cache_check_str() << "\n";
478    os << last_changed_rev() << " ";
479    os << authors().size() << "\n";
480
481    std::copy(authors().begin(), authors().end(), 
482              std::ostream_iterator<std::string>(os, "\n"));
483    os << cache_check_str() << "\n";
484    for (size_t i=0; i<stats_.size(); ++i){
485      print(os, stats_[i]);
486      os << cache_check_str() << "\n";
487    }
488  }
489
490
491  void Stats::print(std::ostream& os, const Author2Vector& m) const
492  {
493    for (A2VConstIter i(m.begin()); i!=m.end(); ++i){
494      os << i->first << "\n";
495      assert(i->second.size());
496      if (i->second[0])
497        os << 0 << " " << i->second[0] << " ";
498      for (size_t j=1; j<i->second.size(); ++j) {
499        // only print if stats changes in this rev
500        if (i->second[j] != i->second[j-1]) {
501          os << j << " " << i->second[j] - i->second[j-1] << " ";
502        }
503      }
504      os << "\n";
505    }
506  }
507
508  void Stats::reset(void)
509  {
510    for (size_t i=0; i<stats_.size(); ++i){
511      stats_[i].clear();
512      stats_[i]["all"]=std::vector<unsigned int>(revision_+1);
513    }
514    authors_.clear();
515  }
516
517
518  Stats& Stats::operator+=(const Stats& rhs)
519  {
520    revision_ = std::max(revision_, rhs.revision_);
521    last_changed_rev_ = std::max(last_changed_rev_, rhs.last_changed_rev_);
522    add_authors(rhs.authors().begin(), rhs.authors().end());
523    assert(stats_.size()==rhs.stats_.size());
524    for (size_t i=0; i<stats_.size(); ++i)
525      map_add(rhs.stats_[i].begin(), rhs.stats_[i].end(), stats_[i]);
526   
527    return *this;
528  }
529
530 
531  size_t Stats::operator()(int linetype, std::string author, 
532                           svn_revnum_t rev) const
533  {
534    assert(linetype<=LineTypeParser::total);
535    assert(static_cast<size_t>(linetype) < stats_.size());
536    assert(rev>=0);
537    A2VConstIter i = stats_[linetype].find(author);
538    if (i==stats_[linetype].end()){
539      std::stringstream msg;
540      msg << __FILE__ << ": author: " << author << " does not exist"; 
541      throw std::runtime_error(msg.str());
542    }
543    assert(rev < static_cast<svn_revnum_t>(i->second.size()));
544    return i->second[rev];
545  }
546
547}} // end of namespace svndigest and namespace theplu
Note: See TracBrowser for help on using the repository browser.