source: trunk/lib/Stats.cc @ 978

Last change on this file since 978 was 978, checked in by Peter Johansson, 12 years ago

refs #429. Convert copyright statements to UTF-8

  • Property svn:eol-style set to native
  • Property svn:keywords set to Id
File size: 13.2 KB
Line 
1// $Id: Stats.cc 978 2009-12-12 20:09:41Z peter $
2
3/*
4  Copyright (C) 2005 Peter Johansson
5  Copyright (C) 2006, 2007, 2008, 2009 Jari Häkkinen, Peter Johansson
6
7  This file is part of svndigest, http://dev.thep.lu.se/svndigest
8
9  svndigest is free software; you can redistribute it and/or modify it
10  under the terms of the GNU General Public License as published by
11  the Free Software Foundation; either version 3 of the License, or
12  (at your option) any later version.
13
14  svndigest is distributed in the hope that it will be useful, but
15  WITHOUT ANY WARRANTY; without even the implied warranty of
16  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
17  General Public License for more details.
18
19  You should have received a copy of the GNU General Public License
20  along with svndigest. If not, see <http://www.gnu.org/licenses/>.
21*/
22
23#include "Stats.h"
24
25#include "Colors.h"
26#include "Functor.h"
27#include "Graph.h"
28#include "SVNblame.h"
29#include "SVNinfo.h"
30#include "utility.h"
31
32#include <algorithm>
33#include <cassert>
34#include <cstdlib>
35#include <fstream>
36#include <iterator>
37#include <map>
38#include <numeric>
39#include <string>
40#include <sstream>
41#include <unistd.h>
42#include <utility>
43#include <vector>
44
45
46namespace theplu{
47namespace svndigest{
48
49
50  Stats::Stats(const std::string& path)
51    : stats_(std::vector<Author2Vector>(LineTypeParser::total+1))
52  {
53    // Make sure latest revision is set properly
54    SVNinfo svn_info(path);
55    revision_=svn_info.rev();
56    last_changed_rev_=svn_info.last_changed_rev();
57    reset();
58  }
59
60
61  Stats::~Stats(void)
62  {
63  }
64
65
66  void Stats::accumulate(std::vector<unsigned int>& vec,
67                         svn_revnum_t rev) const
68  {
69    assert(rev>0);
70    if (vec.empty()){
71      // just to allow call to vec.back() below
72      vec.resize(1,0);
73    }
74    else if (vec.begin()+rev-1 < vec.end())
75      std::partial_sum(vec.begin()+rev-1,vec.end(),vec.begin()+rev-1);
76    // static_cast to remove annoying compiler warning
77    if (vec.size() < static_cast<size_t>(revision()+1))
78      vec.resize(revision()+1, vec.back());
79  }
80
81
82  void Stats::accumulate_stats(svn_revnum_t rev)
83  {
84    if (!rev)
85      rev = 1;
86    for (std::set<std::string>::const_iterator iter(authors().begin());
87         iter!=authors().end(); ++iter) {
88      std::vector<unsigned int>& code = code_stats()[*iter];
89      accumulate(code, rev);
90      std::vector<unsigned int>& comments = comment_stats()[*iter];
91      accumulate(comments, rev);
92      std::vector<unsigned int>& other = other_stats()[*iter];
93      accumulate(other, rev);
94      std::vector<unsigned int>& copyright = copyright_stats()[*iter];
95      accumulate(copyright, rev);
96    }
97  }
98
99
100  void Stats::add(const std::string& user, const unsigned int& rev, 
101                  const LineTypeParser::line_type& lt, unsigned int n)
102  {
103    assert(user.size());
104    add_author(user);
105
106    add(code_stats()[user], rev, lt==LineTypeParser::code, n);
107    add(comment_stats()[user], rev, lt==LineTypeParser::comment, n);
108    add(other_stats()[user], rev, lt==LineTypeParser::other, n);
109    add(copyright_stats()[user], rev, lt==LineTypeParser::copyright, n);
110  }
111
112
113  void Stats::add(std::vector<unsigned int>& vec, unsigned int rev, bool x,
114                  unsigned int n)
115  { 
116    if (vec.size() < rev+1){
117      vec.reserve(rev+1);
118      vec.resize(rev);
119      assert(vec.size()+1<vec.max_size());
120      if (x) {
121        vec.push_back(n);
122      }
123      else {
124        vec.push_back(0);
125      }
126    }
127    else if (x)
128      vec[rev]+=n;
129  }
130
131
132  void Stats::add_author(std::string name)
133  {
134    authors_.insert(name);
135  }
136
137
138  void Stats::add_authors(std::set<std::string>::const_iterator first, 
139                          std::set<std::string>::const_iterator last)
140  {
141    authors_.insert(first, last);
142  }
143
144
145  const std::set<std::string>& Stats::authors(void) const
146  {
147    return authors_;
148  }
149
150
151  void Stats::calc_all(void)
152  {
153    std::vector<unsigned int> init(revision()+1);
154    for (int lt=0; lt <= 4; ++lt) {
155      stats_[lt]["all"].clear();
156      stats_[lt]["all"] =
157        std::accumulate(stats_[lt].begin(), 
158                        stats_[lt].end(), init,
159                        PairValuePlus<std::string,unsigned int>());
160    }
161    VectorPlus<unsigned int> vp;
162    comment_or_copy_stats()["all"] = 
163      vp(comment_stats()["all"], copyright_stats()["all"]);
164
165    total_stats()["all"] = 
166      vp(vp(code_stats()["all"], comment_or_copy_stats()["all"]), 
167         other_stats()["all"]);
168  }
169
170
171  void Stats::calc_total(void)
172  {
173    for (std::set<std::string>::const_iterator iter(authors().begin());
174         iter!=authors().end(); ++iter) {
175      std::vector<unsigned int>& code = code_stats()[*iter];
176      std::vector<unsigned int>& comments = comment_stats()[*iter];
177      std::vector<unsigned int>& other = other_stats()[*iter];
178      std::vector<unsigned int>& copy = copyright_stats()[*iter];
179
180      VectorPlus<unsigned int> vp;
181      total_stats()[*iter] = vp(vp(vp(code, comments),other),copy);
182    }
183
184  }
185
186
187  void Stats::calc_comment_or_copy(void)
188  {
189    for (std::set<std::string>::const_iterator iter(authors().begin());
190         iter!=authors().end(); ++iter) {
191      std::vector<unsigned int>& comments = comment_stats()[*iter];
192      std::vector<unsigned int>& copy = copyright_stats()[*iter];
193
194      VectorPlus<unsigned int> vp;
195      comment_or_copy_stats()[*iter] = vp(comments, copy);
196    }
197
198  }
199
200
201  unsigned int Stats::code(const std::string& user) const
202  {
203    return get_back(code_stats(), user);
204  }
205
206
207  unsigned int Stats::comments(const std::string& user) const
208  {
209    return get_back(comment_or_copy_stats(), user);
210  }
211
212
213  unsigned int Stats::empty(const std::string& user) const
214  {
215    return get_back(other_stats(), user);
216  }
217
218
219  unsigned int Stats::get_back(const Author2Vector& m, std::string user) const
220  {
221    A2VConstIter iter(m.find(std::string(user)));
222    if (iter==m.end() || iter->second.empty()) 
223      return 0;
224    return iter->second.back();
225  }
226
227
228  const std::vector<unsigned int>& Stats::get_vector(const Author2Vector& m, 
229                                              std::string user) const
230  {
231    A2VConstIter iter(m.find(std::string(user)));
232    if (iter==m.end()) 
233      throw std::runtime_error(user+std::string(" not found i Stats"));
234    return iter->second;
235  }
236
237
238  svn_revnum_t Stats::last_changed_rev(void) const
239  {
240    return last_changed_rev_;
241  }
242
243
244  unsigned int Stats::lines(const std::string& user) const
245  {
246    return get_back(total_stats(), user);
247  }
248
249
250  void Stats::load(std::istream& is, Author2Vector& m)
251  {
252    while (m.size() < authors().size()+1 && is.good()) {
253      std::string name;
254      std::getline(is, name);
255      std::vector<unsigned int>& vec=m[name];
256      std::string line;
257      std::getline(is, line);
258      std::stringstream ss(line);
259      while (ss.good()) {
260        svn_revnum_t rev=0;
261        unsigned int count=0;
262        ss >> rev;
263        ss >> count;
264        assert(rev<=revision_);
265        if (!count)
266          break;
267        vec.resize(std::max(vec.size(),static_cast<size_t>(rev+1)));
268        vec[rev]=count;
269      }
270      accumulate(vec);
271    }
272  }
273
274
275  svn_revnum_t Stats::load_cache(std::istream& is)
276  {
277    std::string str;
278    getline(is, str);
279    if (str!=cache_check_str())
280      return 0;
281    svn_revnum_t rev;
282    is >> rev;
283    reset();
284    size_t a_size=0;
285    is >> a_size;
286    while (authors().size()<a_size && is.good()){
287      getline(is, str);
288      if (str.size())
289        add_author(str);
290    }
291    getline(is, str);
292    if (str!=cache_check_str()) {
293      return 0;
294    }
295    for (size_t i=0; i<stats_.size(); ++i){
296      load(is, stats_[i]);
297      getline(is, str);
298      if (str!=cache_check_str()) {
299        return 0;
300      }
301    }
302    return rev;
303  }
304
305
306  void Stats::map_add(A2VConstIter first1, A2VConstIter last1, 
307                      Author2Vector& map)
308  {
309    A2VIter first2(map.begin());
310    Author2Vector::key_compare compare;
311    while ( first1 != last1) { 
312      // key of first1 less than key of first2
313      if (first2==map.end() || compare(first1->first,first2->first)) {
314        first2 = map.insert(first2, *first1);
315        ++first1;
316      }
317      // key of first2 less than key of first1
318      else if ( compare(first2->first, first1->first)) {
319        ++first2;
320      }
321      // keys are equivalent
322      else {
323        VectorPlus<Author2Vector::mapped_type::value_type> vp;
324        first2->second = vp(first1->second, first2->second);
325        ++first1;
326        ++first2;
327      }
328    }
329  }
330
331
332  void Stats::parse(const std::string& path, svn_revnum_t rev)
333  {
334    // reset stats to zero for [rev, inf)
335    for (size_t i=0; i<stats_.size(); ++i)
336      for (A2VIter iter=stats_[i].begin(); iter!=stats_[i].end(); ++iter) {
337        iter->second.resize(rev,0);
338        iter->second.resize(revision(),0);
339      }
340    do_parse(path, rev);
341    calc_comment_or_copy();
342    calc_total();
343    calc_all();
344    assert(total_stats().size());
345    assert(code_stats().size());
346    assert(comment_or_copy_stats().size());
347    assert(other_stats().size());
348  }
349
350  std::string Stats::plot(const std::string& filename,
351                          const std::string& linetype) const
352  {
353    assert(total_stats().size());
354    Graph gp(filename);
355    const Author2Vector* stat=NULL;
356    if (linetype=="total")
357      stat = &total_stats();
358    else if (linetype=="code")
359      stat = &code_stats();
360    else if (linetype=="comments")
361      stat = &comment_or_copy_stats();
362    else if (linetype=="empty")
363      stat = &other_stats();
364    assert(stat);
365    assert(stat->size());
366    assert(stat->find("all")!=stat->end());
367    std::vector<unsigned int> total=get_vector(*stat, "all");   
368    double yrange_max=1.03 * *std::max_element(total.begin(), total.end()) +1.0;
369    gp.ymax(yrange_max);
370
371    typedef std::vector<std::pair<std::string, std::vector<unsigned int> > > vec_type;
372    vec_type author_cont;
373    author_cont.reserve(stat->size());
374    for (std::set<std::string>::const_iterator i=authors_.begin(); 
375         i != authors_.end(); ++i) {
376      if (lines(*i)) {
377        assert(stat->find(*i)!=stat->end());
378        author_cont.push_back(std::make_pair(*i,get_vector(*stat,*i)));
379      }
380    }
381
382    LessReversed<std::vector<unsigned int> > lr;
383    PairSecondCompare<std::string, std::vector<unsigned int>, 
384      LessReversed<std::vector<unsigned int> > > compare(lr);
385    std::sort(author_cont.begin(), author_cont.end(), compare);
386
387    vec_type::iterator end(author_cont.end());
388    vec_type::iterator i(author_cont.begin());
389    const vec_type::size_type maxauthors=8;
390    int authskip=author_cont.size()-maxauthors;
391    if (authskip>1) {
392      // only use others if there is more than 1 author to be skipped,
393      // there is no reason to add only 1 author to others.
394      vec_type::iterator j(i);
395      i+=authskip;
396      std::vector<unsigned int> init(revision()+1);
397      std::vector<unsigned int> others =
398        std::accumulate(j, i, init, PairValuePlus<std::string,unsigned int>());
399      unsigned char r, g, b;
400      std::string label("others");
401      Colors::instance().get_color(label, r,g,b);
402      gp.current_color(r,g,b);
403      gp.plot(others, label, others.back());
404    }
405    for ( ; i!=end; ++i) {
406      unsigned char r, g, b;
407      Colors::instance().get_color(i->first,r,g,b);
408      gp.current_color(r,g,b);
409      gp.plot(i->second, i->first, get_back(*stat, i->first));
410    }
411    gp.current_color(255,0,0);
412    gp.plot(total, "total", get_back(*stat, "all"));
413
414    return filename;
415  }
416
417
418  void Stats::plot_summary(const std::string& filename) const
419  {
420    Graph gp(filename);
421    std::vector<unsigned int> total = get_vector(total_stats(), "all");
422    double yrange_max=1.03*total.back()+1;
423    gp.ymax(yrange_max);
424   
425    std::vector<unsigned int> x(get_vector(code_stats(), "all"));
426    gp.current_color(255,255,0);
427    gp.plot(x, "code", x.back());
428
429    x = get_vector(comment_or_copy_stats(), "all");
430    gp.current_color(0,0,255);
431    gp.plot(x, "comment", x.back());
432
433    x = get_vector(other_stats(), "all");
434    gp.current_color(0,255,0);
435    gp.plot(x, "other", x.back());
436
437    gp.current_color(255,0,0);
438    gp.plot(total, "total", total.back());
439  }
440
441
442  void Stats::print(std::ostream& os) const
443  {
444    os << cache_check_str() << "\n";
445    os << last_changed_rev() << " ";
446    os << authors().size() << "\n";
447
448    std::copy(authors().begin(), authors().end(), 
449              std::ostream_iterator<std::string>(os, "\n"));
450    os << cache_check_str() << "\n";
451    for (size_t i=0; i<stats_.size(); ++i){
452      print(os, stats_[i]);
453      os << cache_check_str() << "\n";
454    }
455  }
456
457
458  void Stats::print(std::ostream& os, const Author2Vector& m) const
459  {
460    for (A2VConstIter i(m.begin()); i!=m.end(); ++i){
461      os << i->first << "\n";
462      assert(i->second.size());
463      if (i->second[0])
464        os << 0 << " " << i->second[0] << " ";
465      for (size_t j=1; j<i->second.size(); ++j) {
466        // only print if stats changes in this rev
467        if (i->second[j] != i->second[j-1]) {
468          os << j << " " << i->second[j] - i->second[j-1] << " ";
469        }
470      }
471      os << "\n";
472    }
473  }
474
475  void Stats::reset(void)
476  {
477    for (size_t i=0; i<stats_.size(); ++i){
478      stats_[i].clear();
479      std::vector<unsigned int>& tmp = stats_[i]["all"];
480      std::fill(tmp.begin(), tmp.end(), 0);
481      tmp.resize(revision_+1);
482    }
483    authors_.clear();
484  }
485
486
487  Stats& Stats::operator+=(const Stats& rhs)
488  {
489    revision_ = std::max(revision_, rhs.revision_);
490    last_changed_rev_ = std::max(last_changed_rev_, rhs.last_changed_rev_);
491    add_authors(rhs.authors().begin(), rhs.authors().end());
492    assert(stats_.size()==rhs.stats_.size());
493    for (size_t i=0; i<stats_.size(); ++i)
494      map_add(rhs.stats_[i].begin(), rhs.stats_[i].end(), stats_[i]);
495   
496    return *this;
497  }
498
499 
500  size_t Stats::operator()(int linetype, std::string author, 
501                           svn_revnum_t rev) const
502  {
503    assert(linetype<=LineTypeParser::total);
504    assert(static_cast<size_t>(linetype) < stats_.size());
505    assert(rev>=0);
506    A2VConstIter i = stats_[linetype].find(author);
507    if (i==stats_[linetype].end()){
508      std::stringstream msg;
509      msg << __FILE__ << ": author: " << author << " does not exist"; 
510      throw std::runtime_error(msg.str());
511    }
512    assert(rev < static_cast<svn_revnum_t>(i->second.size()));
513    return i->second[rev];
514  }
515
516}} // end of namespace svndigest and namespace theplu
Note: See TracBrowser for help on using the repository browser.