636672f466ab1743fa0155e411cf4d18b73c86cd
[git-mirror.git] / git_mirror.py
1 # Copyright (c) 2015, Ralf Jung <post@ralfj.de>
2 # All rights reserved.
3
4 # Redistribution and use in source and binary forms, with or without
5 # modification, are permitted provided that the following conditions are met:
6
7 # 1. Redistributions of source code must retain the above copyright notice, this
8 #    list of conditions and the following disclaimer. 
9 # 2. Redistributions in binary form must reproduce the above copyright notice,
10 #    this list of conditions and the following disclaimer in the documentation
11 #    and/or other materials provided with the distribution.
12
13 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
14 # ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
15 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
16 # DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR
17 # ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
18 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
19 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
20 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
21 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
22 # SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
23 #==============================================================================
24 import sys, os, subprocess
25 import configparser, itertools, json, re
26 import email.mime.text, email.utils, smtplib
27
28 mail_sender = "null@localhost"
29
30 class GitCommand:
31     def __getattr__(self, name):
32         def call(*args, capture_stderr = False, check = True):
33             '''If <capture_stderr>, return stderr merged with stdout. Otherwise, return stdout and forward stderr to our own.
34                If <check> is true, throw an exception of the process fails with non-zero exit code. Otherwise, do not.
35                In any case, return a pair of the captured output and the exit code.'''
36             cmd = ["git", name.replace('_', '-')] + list(args)
37             with subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT if capture_stderr else None) as p:
38                 (stdout, stderr) = p.communicate()
39                 assert stderr is None
40                 code = p.returncode
41                 if check and code:
42                     raise Exception("Error running {0}: Non-zero exit code".format(cmd))
43             return (stdout.decode('utf-8').strip('\n'), code)
44         return call
45
46 git = GitCommand()
47 git_nullsha = 40*"0"
48
49 def git_is_forced_update(oldsha, newsha):
50     out, code = git.merge_base("--is-ancestor", oldsha, newsha, check = False) # "Check if the first <commit> is an ancestor of the second <commit>"
51     assert not out
52     assert code in (0, 1)
53     return False if code == 0 else True # if oldsha is an ancestor of newsha, then this was a "good" (non-forced) update
54
55 def read_config(fname, defSection = 'DEFAULT'):
56     '''Reads a config file that may have options outside of any section.'''
57     config = configparser.ConfigParser()
58     with open(fname) as file:
59         stream = itertools.chain(("["+defSection+"]\n",), file)
60         config.read_file(stream)
61     return config
62
63 def send_mail(subject, text, recipients, sender, replyTo = None):
64     assert isinstance(recipients, list)
65     if not len(recipients): return # nothing to do
66     # construct content
67     msg = email.mime.text.MIMEText(text.encode('UTF-8'), 'plain', 'UTF-8')
68     msg['Subject'] = subject
69     msg['Date'] = email.utils.formatdate(localtime=True)
70     msg['From'] = sender
71     msg['To'] = ', '.join(recipients)
72     if replyTo is not None:
73         msg['Reply-To'] = replyTo
74     # put into envelope and send
75     s = smtplib.SMTP('localhost')
76     s.sendmail(sender, recipients, msg.as_string())
77     s.quit()
78
79 def get_github_payload():
80     '''Reeturn the github-style JSON encoded payload (as if we were called as a github webhook)'''
81     try:
82         data = sys.stdin.buffer.read()
83         data = json.loads(data.decode('utf-8'))
84         return data
85     except:
86         return {} # nothing read
87
88 class Repo:
89     def __init__(self, name, conf):
90         '''Creates a repository from a section of the git-mirror configuration file'''
91         self.name = name
92         self.local = conf['local']
93         self.owner = conf['owner'] # email address to notify in case of problems
94         self.mirrors = {} # maps mirrors to their URLs
95         mirror_prefix = 'mirror-'
96         for name in filter(lambda s: s.startswith(mirror_prefix), conf.keys()):
97             mirror = name[len(mirror_prefix):]
98             self.mirrors[mirror] = conf[name]
99     
100     def mail_owner(self, msg):
101         global mail_sender
102         send_mail("git-mirror {0}".format(self.name), msg, recipients = [self.owner], sender = mail_sender)
103     
104     def find_mirror_by_url(self, match_urls):
105         for mirror, url in self.mirrors.items():
106             if url in match_urls:
107                 return mirror
108         return None
109     
110     def update_mirrors(self, ref, oldsha, newsha, except_mirrors = [], suppress_stderr = False):
111         '''Update the <ref> from <oldsha> to <newsha> on all mirrors. The update must already have happened locally.'''
112         assert len(oldsha) == 40 and len(newsha) == 40, "These are not valid SHAs."
113         os.chdir(self.local)
114         # check for a forced update
115         is_forced = newsha != git_nullsha and oldsha != git_nullsha and git_is_forced_update(oldsha, newsha)
116         # tell all the mirrors
117         for mirror in self.mirrors:
118             if mirror in except_mirrors:
119                 continue
120             # update this mirror
121             if is_forced:
122                 # forcibly update ref remotely (someone already did a force push and hence accepted data loss)
123                 git.push('--force', self.mirrors[mirror], newsha+":"+ref, capture_stderr = suppress_stderr)
124             else:
125                 # nicely update ref remotely (this avoids data loss due to race conditions)
126                 git.push(self.mirrors[mirror], newsha+":"+ref, capture_stderr = suppress_stderr)
127     
128     def update_ref_from_mirror(self, ref, oldsha, newsha, mirror, suppress_stderr = False):
129         '''Update the local version of this <ref> to what's currently on the given <mirror>. <oldsha> and <newsha> are checked. Then update all the other mirrors.'''
130         os.chdir(self.local)
131         url = self.mirrors[mirror]
132         # first check whether the remote really is at newsha
133         remote_state, code = git.ls_remote(url, ref)
134         if remote_state:
135             remote_sha = remote_state.split()[0]
136         else:
137             remote_sha = git_nullsha
138         assert newsha == remote_sha, "Someone lied about the new SHA, which should be {0}.".format(newsha)
139         # locally, we have to be at oldsha or newsha (the latter can happen if we already got this update, e.g. if it originated from us)
140         local_state, code = git.show_ref(ref, check=False)
141         if code == 0:
142             local_sha = local_state.split()[0]
143         else:
144             if len(local_state):
145                 raise Exception("Something went wrong getting the local state of {0}.".format(ref))
146             local_sha = git_nullsha
147         assert local_sha in (oldsha, newsha), "Someone lied about the old SHA."
148         # if we are already at newsha locally, we also ran the local hooks, so we do not have to do anything
149         if local_sha == newsha:
150             return
151         # update local state from local_sha to newsha.
152         if newsha != git_nullsha:
153             # We *could* now fetch the remote ref and immediately update the local one. However, then we would have to
154             # decide whether we want to allow a force-update or not. Also, the ref could already have changed remotely,
155             # so that may update to some other commit.
156             # Instead, we just fetch without updating any local ref. If the remote side changed in such a way that
157             # <newsha> is not actually fetched, that's a race and will be noticed when updating the local ref.
158             git.fetch(url, ref, capture_stderr = suppress_stderr)
159             # now update the ref, checking the old value is still local_oldsha.
160             git.update_ref(ref, newsha, 40*"0" if local_sha is None else local_sha)
161         else:
162             # ref does not exist anymore. delete it.
163             assert local_sha != git_nullsha, "Why didn't we bail out earlier if there is nothing to do...?"
164             git.update_ref("-d", ref, local_sha) # this checks that the old value is still local_sha
165         # update all the mirrors
166         self.update_mirrors(ref, oldsha, newsha, [mirror], suppress_stderr)
167
168 def find_repo_by_directory(repos, dir):
169     for (name, repo) in repos.items():
170         if dir == repo.local:
171             return name
172     return None
173
174 def load_repos():
175     global mail_sender
176     conffile = os.path.join(os.path.dirname(__file__), 'git-mirror.conf')
177     conf = read_config(conffile)
178     mail_sender = conf['mail-sender']
179     
180     repos = {}
181     for name, section in conf.items():
182         if name != 'DEFAULT':
183             repos[name] = Repo(name, section)
184     return repos
185