source: WAeUP_SRP/trunk/WAeUPImport.py @ 5070

Last change on this file since 5070 was 5063, checked in by Henrik Bettermann, 15 years ago

edit course result in create mode if it exists

  • Property svn:keywords set to Id
File size: 67.4 KB
Line 
1#-*- mode: python; mode: fold -*-
2# (C) Copyright 2005 The WAeUP group  <http://www.waeup.org>
3# Author: Joachim Schmitz (js@aixtraware.de)
4#
5# This program is free software; you can redistribute it and/or modify
6# it under the terms of the GNU General Public License version 2 as published
7# by the Free Software Foundation.
8#
9# This program is distributed in the hope that it will be useful,
10# but WITHOUT ANY WARRANTY; without even the implied warranty of
11# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12# GNU General Public License for more details.
13#
14# You should have received a copy of the GNU General Public License
15# along with this program; if not, write to the Free Software
16# Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
17# 02111-1307, USA.
18#
19# $Id: WAeUPImport.py 5063 2010-03-15 11:56:21Z henrik $
20"""The WAeUP Tool Box.
21"""
22
23#from AccessControl import ClassSecurityInfo
24#from Acquisition import aq_inner
25#from Acquisition import aq_parent
26#from Globals import DTMLFile
27#from Globals import InitializeClass
28from OFS.SimpleItem import SimpleItem
29from zExceptions import BadRequest
30
31#from Products.CMFCore.utils import getToolByName
32#from Products.CPSSchemas.DataStructure import DataStructure
33#from Products.CPSSchemas.DataModel import DataModel
34#from Products.CPSSchemas.StorageAdapter import MappingStorageAdapter
35from Products.CMFCore.ActionProviderBase import ActionProviderBase
36#from Products.CMFCore.permissions import View
37#from Products.ZCatalog.ZCatalog import ZCatalog
38#from Products.CMFCore.permissions import ModifyPortalContent
39#from Products.CMFCore.permissions import ManagePortal
40from Products.CMFCore.utils import UniqueObject
41#from Products.CMFCore.URLTool import URLTool
42from Products.CMFCore.utils import getToolByName
43from Globals import package_home,INSTANCE_HOME
44from Products.AdvancedQuery import Eq, Between, Le,In
45import csv,re,os,sys
46from shutil import copy2
47import DateTime,time
48import logging
49p_home = package_home(globals())
50i_home = INSTANCE_HOME
51from utils import makeDigest
52
53NO_KEY = '----'
54IGNORE = 'ignore'
55class WAeUPImport(UniqueObject, SimpleItem, ActionProviderBase): ###(
56    """ WAeUPImport """
57    required_modes = ('create',)
58
59    def __init__(self,waeup_tool): ###(
60        self.students_folder = waeup_tool.portal_url.getPortalObject().campus.students
61        self.member = member = waeup_tool.portal_membership.getAuthenticatedMember()
62        self.import_date = DateTime.DateTime()
63        self.imported_by = str(member)
64        #self.current = DateTime.DateTime().strftime("%d-%m-%y_%H_%M_%S")
65        self.waeup_tool = waeup_tool
66        self.session = waeup_tool.getSessionId()[0]
67        self.academics_folder = waeup_tool.portal_url.getPortalObject().campus.academics
68        self.schema_tool = getToolByName(waeup_tool, 'portal_schemas')
69        self.layout_tool = getToolByName(waeup_tool, 'portal_layouts')
70        self.types_tool = getToolByName(waeup_tool, 'portal_types')
71        self.portal_workflow = getToolByName(waeup_tool, 'portal_workflow')
72        self.portal_url = getToolByName(waeup_tool, 'portal_url')
73        self.portal_catalog = waeup_tool.portal_catalog
74        self.portal_directories = waeup_tool.portal_directories
75        self.students_catalog = waeup_tool.students_catalog
76        self.courses_catalog = waeup_tool.courses_catalog
77        self.course_results = waeup_tool.course_results
78        self.payments_catalog = waeup_tool.payments_catalog
79        self.applicants_catalog = waeup_tool.applicants_catalog
80        self.removed_student_ids = waeup_tool.removed_student_ids
81        #self.mode = mode
82        # self.import_method = getattr(self, '%s' % mode,None)
83        errors = []
84        # if self.import_method is None:
85        #     errors.append('No importer method %s' % mode)
86        self.pending_path = "%s/import/%s.pending" % (i_home,self.plural_name)
87        self.pending_tmp = "%s/import/%s.pending.tmp" % (i_home,self.plural_name)
88        self.pending_backup = "%s/import/%s.pending.old" % (i_home,self.plural_name)
89        self.pending_fn = os.path.split(self.pending_path)[1]
90        self.imported_path = "%s/import/%s.imported" % (i_home,self.plural_name)
91        self.imported_fn = os.path.split(self.imported_path)[1]
92        iname = "import_%s" % self.name
93        self.logger = logging.getLogger('WAeUPImport.%sImport' % self.plural_name.capitalize())
94        self.schema = self.schema_tool._getOb(iname,None)
95        #self.pending_schema = self.schema_tool._getOb("%s_pending" % iname,None)
96        self.layout = self.layout_tool._getOb(iname,None)
97        while True:
98            if self.schema is None:
99                errors.append('no schema %s' % iname)
100            # if self.pending_schema is None:
101            #     self.pending_schema = self.schema
102            if self.layout is None:
103                errors.append('no such layout %s' % iname)
104            if errors:
105                break
106            self.data_keys = self.schema.keys()
107            self.csv_keys = self.schema.keys()
108            info = {}
109            info['imported_from'] = ''
110            info['import_record_no'] = 0
111            info['imported_by'] = self.imported_by
112            info['import_date'] = self.import_date.strftime("%d/%m/%y %H:%M:%S")
113            info['error'] = ''
114            self.info = info
115            self.csv_keys.extend(self.info)
116            self.validators = {}
117            for widget in self.layout.keys():
118                self.validators[widget] = self.layout[widget].validate
119            self.required_keys = {}
120            for mode in self.required_modes:
121                self.required_keys[mode] = [self.layout.getIdUnprefixed(id)
122                                    for id,widget in self.layout.objectItems()
123                                    if widget.is_required]
124            break
125        self.init_errors = ','.join(errors)
126    ###)
127
128    def findStudent(self,mode,student_id=None, matric_no=None, jamb_reg_no=None): ###(
129        student_record = None
130        msg = ''
131        key_used = ''
132        while True:
133            if student_id:
134                key_used = 'student_id'
135                res = self.students_catalog(id = student_id)
136                if not res:
137                    msg = "no student with id %s" % student_id
138                    break
139                student_record = res[0]
140                if matric_no and student_record.matric_no:
141                    if  matric_no != student_record.matric_no:
142                        msg = "old matric_no %s overwritten with %s" % (student_record.matric_no,matric_no)
143                        #logger.info("%s, old matric_no %s overwritten with %s" % (student_record.id,student_record.matric_no,matric_no))
144                if jamb_reg_no and student_record.jamb_reg_no:
145                    if jamb_reg_no != student_record.jamb_reg_no:
146                        msg = "old reg_no %s overwritten with %s" % (student_record.jamb_reg_no,jamb_reg_no)
147                        #logger.info("%s, old reg_no %s overwritten with %s" % (student_record.id,student_record.jamb_reg_no,jamb_reg_no))
148            elif jamb_reg_no:
149                key_used = 'jamb_reg_no'
150                res = self.students_catalog(jamb_reg_no = jamb_reg_no)
151                if res:
152                    if mode == 'create':
153                        msg = "jamb_reg_no exists"
154                        break
155                else:
156                    if mode == 'edit':
157                        msg = "no student with jamb_reg_no %s" % jamb_reg_no
158                        break
159                student_record = res[0]
160            elif matric_no:
161                key_used = 'matric_no'
162                res = self.students_catalog(matric_no = matric_no)
163                if not res:
164                    msg = "no student with matric_no %s" % matric_no
165                    break
166                student_record = res[0]
167            else:
168                msg = "neither id, matric_no nor reg_no specified"
169            break
170        d = {}
171        d['student_record'] = student_record
172        d['key_used'] = key_used
173        d['msg'] = msg
174        return d
175    ###)
176
177    def makeIdLists(self): ###(
178        pending_digests = []
179        pending = []
180        # pending_student_ids = []
181        # pending_matric_nos = []
182        # pending_reg_ns = []
183        if os.path.exists(self.pending_path):
184            datafile = open(self.pending_path,"r")
185            reader = csv.reader(datafile)
186            old_headline = reader.next()
187            #datafile.seek(0)
188            pending_csv_reader = csv.DictReader(datafile,old_headline,)
189            #pending_csv_reader.next() # skip headline
190            for item in pending_csv_reader:
191                digest = makeDigest(item,self.data_keys)
192                if digest not in pending_digests:
193                    pending_digests += digest,
194                    pending += item,
195            datafile.close()
196            #copy2(self.pending_path,self.pending_backup)
197        return pending, pending_digests
198    ###)
199
200    def checkHeadline(self,headline): ###(
201        """ check the headline of a csv file """
202        import_keys = [k.strip() for k in headline if not (k.strip().startswith('ignore')
203                                                        or k.strip() in self.info.keys())]
204        # import_keys = [k.strip() for k in headline if not (k.strip() in self.info.keys())]
205        diff2schema = set(import_keys).difference(set(self.schema.keys()))
206        diff2layout = set(import_keys).difference(set(self.layout.keys()))
207        #if diff2schema and diff2schema != set(['id',]):
208        if diff2schema:
209            return list(diff2schema)
210        return []
211    ###)
212
213    def getHeadlineFields(self,headline,values): ###(
214        """ check the headline of a csv file """
215        # import_keys = [k.strip() for k in headline if not (k.strip().startswith('ignore')
216        #                                                 or k.strip() in self.info.keys())]
217        import_keys = [k.strip() for k in headline if not (k.strip() in self.info.keys())]
218        info_keys = [k.strip() for k in headline if k.strip() in self.info.keys()]
219        si = set(import_keys)
220        ss = set(self.schema.keys())
221
222        invalid_keys = si - ss
223        keys = []
224        i = 0
225        duplicates = False
226        singels = []
227        msg = ''
228        while True:
229            if len(values) != len(import_keys):
230                if len(values) == len(import_keys) + len(info_keys):
231                    msg += "fields from pending file in headline"
232                else:
233                    msg += "%d fields in headline but %d values" % (len(import_keys),len(values))
234                break
235            for k in import_keys:
236                if k in singels:
237                    keys += (k,'%s' % k,values[i],'(duplicate)'),
238                    msg += ("duplicate %s," % k)
239                    keys[singels.index(k)] = (k,'%s' % k,values[singels.index(k)],'(duplicate)')
240                elif k in invalid_keys and not k.startswith(IGNORE):
241                    keys += (k,NO_KEY,values[i],'(invalid)'),
242                else:
243                    keys += (k,k,values[i],''),
244                i += 1
245                singels += k,
246            break
247        return msg,keys
248    ###)
249###)
250
251class ApplicationImport(WAeUPImport):###(
252    name = "application"
253    plural_name = "%ss" % name
254    commit_after = 1000
255
256    def create(self,mapping):###(
257        reg_no = mapping.get('reg_no')
258        msg = ''
259        while True:
260            try:
261                self.applicants_catalog.addRecord(**mapping)
262            except ValueError:
263                msg =  "applicant record with reg_no %s already exists" % reg_no
264            break
265        return reg_no,msg,mapping
266    ###)
267   
268    def remove(self,mapping):
269        reg_no = mapping.get('reg_no')
270        msg = ''
271        while True:
272            if self.applicants_catalog.getRecordByKey(reg_no) is None:
273                msg =  "no application record with reg_no %(reg_no)s" % vars()
274                break
275            self.applicants_catalog.deleteRecord(reg_no)
276            break
277        return reg_no,msg,mapping   
278   
279    def edit(self,mapping):###(
280        reg_no = mapping.get('reg_no')
281        status = mapping.get('status')
282        msg = ''
283        while True:
284            res = self.applicants_catalog(reg_no = reg_no)
285            if len(res):
286                if res[0].status == 'created' and status != 'created':
287                    msg =  "student object with id %s for %s already created, status cannot be changed" % (res[0].student_id, reg_no)
288                elif status == 'created' and res[0].status != 'created':
289                    msg =  "student object for %s has not yet been created, status cannot be set to 'created'" % (reg_no)
290                else:
291                    self.applicants_catalog.modifyRecord(**mapping)
292            else:
293                msg =  "applicant record with reg_no %s does not exist" % reg_no
294            break
295        return reg_no,msg,mapping
296    ###)
297
298###)
299
300class CertificateImport(WAeUPImport):###(
301    name = "certificate"
302    plural_name = "%ss" % name
303    commit_after = 100000
304
305    def create(self,mapping):###(
306        if getattr(self,'_v_certificate_list',None) is None:
307            self._v_certificate_list = []
308        if getattr(self,'_v_department_certificates',None) is None:
309            departments = self.portal_catalog(portal_type = "Department")
310            self._v_department_certificates = {}
311            for department  in departments:
312                certificates_container = getattr(department.getObject(),"certificates",None)
313                self._v_department_certificates[department.getId] = {'container': certificates_container,
314                                                            'certificates': certificates_container.objectIds(),
315                                                            }
316        department_id = mapping['department_code']
317        msg = ''
318        certificate_id = mapping.get('code')
319        while True:
320            department_certificates = self._v_department_certificates.get(department_id,None)
321            if department_certificates is None:
322                msg =  "No Department with ID: %s" % department_id
323                break
324            certificates_container = department_certificates['container']
325            certificates = department_certificates['certificates']
326            if certificate_id in self._v_certificate_list:
327                msg =  "Duplicate Certificate ID: %s" % department_id
328                break
329            if certificate_id in certificates:
330                msg =  "Duplicate Certificate ID: %s" % department_id
331                break
332            try:
333                certificates_container.invokeFactory('Certificate', certificate_id)
334            except BadRequest,E:
335                msg =  "%s" % E
336                break
337            self._v_certificate_list.append(certificate_id)
338            certificate = getattr(certificates_container,certificate_id)
339            certificate.getContent().edit(mapping=mapping)
340            break
341        return certificate_id,msg,mapping
342    ###)
343
344    def edit(self,mapping):###(
345        certificate_id = mapping.get('code')
346        res = self.portal_catalog(id=certificate_id)
347        msg = ''
348        while True:
349            if not res:
350                msg =  "no certificate with id: %s" % certificate_id
351                break
352            c = res[0].getObject()
353            c.getContent().edit(mapping=mapping)
354            break
355        return certificate_id,msg,mapping
356    ###)
357###)
358
359class CourseImport(WAeUPImport):###(
360    name = "course"
361    plural_name = "%ss" % name
362    commit_after = 1000
363
364    def create(self,mapping):###(
365        if getattr(self,'_v_course_list',None) is None:
366            self._v_course_list = []
367        if getattr(self,'_v_department_courses',None) is None:
368            departments = self.portal_catalog(portal_type = "Department")
369            self._v_department_courses = {}
370            for department in departments:
371                courses_container = getattr(department.getObject(),"courses",None)
372                if courses_container is not None:
373                    self._v_department_courses[department.getId] = {'container': courses_container,
374                                                                    'courses': courses_container.objectIds(),
375                                                                   }
376        department_id = mapping['department_code']
377        course_id = mapping.get('code','')
378        msg = ''
379        while True:
380            department_courses = self._v_department_courses.get(department_id,None)
381            if department_courses is None:
382                msg =  "no department with id: %(department_id)s" % vars()
383                break
384            courses_container = department_courses['container']
385            courses = department_courses['courses']
386            if course_id in self._v_course_list:
387                msg =  "duplicate course id: %(course_id)s" % vars()
388                break
389            if course_id in courses:
390                msg =  "course %(course_id)s already exists in department %(department_id)s" % vars()
391                break
392            try:
393                courses_container.invokeFactory('Course', course_id)
394            except BadRequest,E:
395                msg =  "%s" % E
396                break
397            self._v_course_list.append(course_id)
398            course = getattr(courses_container,course_id)
399            course.getContent().edit(mapping=mapping)
400            break
401        return course_id,msg,mapping
402    ###)
403
404    def edit(self,mapping): ###(
405        course_id = mapping.get('code','')
406        course = self.courses_catalog.getRecordByKey(course_id)
407        msg = ''
408        while True:
409            if course is None:
410                msg =  "no course with id: %s" % course_id
411                break
412            course_object = getattr(getattr(getattr(getattr(self.academics_folder,course.faculty),
413                                    course.department),
414                                    'courses'),
415                                    course_id)
416            course_object.getContent().edit(mapping=mapping)
417            break
418        return course_id,msg,mapping
419    ###)
420
421    def remove(self,mapping): ###(
422        course_id = mapping.get('code','')
423        course = self.courses_catalog.getRecordByKey(course_id)
424        msg = ''
425        while True:
426            if course is None:
427                msg =  "no course with id: %s" % course_id
428                break
429            courses = getattr(getattr(getattr(self.academics_folder,course.faculty),
430                                    course.department),
431                                    'courses')
432            courses.manage_delObjects((course_id),)     
433            break
434        return course_id,msg,mapping
435    ###)   
436   
437###)
438
439class CourseResultImport(WAeUPImport):###(
440    """ CourseresultImport """
441    name = "course_result"
442    plural_name = "%ss" % name
443    commit_after = 1000000
444    required_modes = ('create','edit','remove')
445
446    def create(self,mapping):###(
447        students_folder = self.portal_url.getPortalObject().campus.students
448        if getattr(self,'_v_courses',None) is None:
449            res = self.courses_catalog()
450            self._v_courses = {}
451            for brain in res:
452                self._v_courses[brain.code] = brain
453        if getattr(self,'_v_level_created',None) is None:
454            self._v_level_created = []
455        if getattr(self,'_v_student_study_course',None) is None:
456            self._v_student_study_course = {}
457        msg = ''
458        key = ''
459        matric_no = mapping.get('matric_no','')
460        id = mapping.get('id','')
461        while True:
462            course_id = mapping.get('code')
463            if course_id not in self._v_courses.keys():
464                msg = "no course with id: %s" % course_id
465                break
466            result = self.findStudent('create',student_id=id,matric_no=matric_no)
467            msg = result['msg']
468            if msg:
469                break
470            student_record = result['student_record']
471            student_id = mapping['student_id']  = student_record.id
472            level_id = mapping.get('level_id','')
473            code = mapping.get('code','')
474            level_ident = "%(student_id)s_%(level_id)s" % vars()
475            if level_ident not in self._v_level_created:
476                context = self._v_student_study_course.get(student_id,None)
477                if context is None:
478                    try:
479                        context = getattr(getattr(students_folder,
480                                                "%(student_id)s" % vars()),
481                                        'study_course')
482                        self._v_student_study_course[student_id] = context
483                    except:
484                        msg = "could not create level %(level_id)s for %(student_id)s" % vars()
485                        break
486                if level_id not in context.objectIds():
487                    context.invokeFactory('StudentStudyLevel',"%(level_id)s" % vars())
488                    level = getattr(context,"%(level_id)s" % vars())
489                    self.portal_workflow.doActionFor(level,'open')
490                    session_id = mapping.get('session_id','')
491                    if session_id:
492                        level.getContent().edit(mapping={'session': "%s" % session_id,})
493                    self.portal_workflow.doActionFor(level,'close')
494                    self._v_level_created += level_ident,
495            mapping['key'] = key = "%(student_id)s|%(level_id)s|%(code)s" % vars()
496            #overwrite semester and credits in create mode
497            for k in ('semester','credits',):
498                mapping[k] = getattr(self._v_courses[course_id],k)
499            # edit course result in create mode if it exists
500            if self.course_results.getRecordByKey(key) is None:
501                try:
502                    self.course_results.addRecord(**mapping)
503                except ValueError:
504                    msg = "unknown error: %s" % key
505            else:
506                self.course_results.modifyRecord(**mapping)
507            break
508        return key,msg,mapping
509    ###)
510
511    def edit(self,mapping): ###(
512        msg = ''
513        key = ''
514        matric_no = mapping.get('matric_no','')
515        id = mapping.get('id','')
516        while True:
517            result = self.findStudent('edit',student_id=id,matric_no=matric_no)
518            msg = result['msg']
519            if msg:
520                break
521            student_record = result['student_record']
522            student_id = student_record.id
523            level_id = mapping.get('level_id','')
524            code = mapping.get('code','')
525            #code = mapping['code']
526            mapping['key'] = key = "%(student_id)s|%(level_id)s|%(code)s" % vars()
527            if self.course_results.getRecordByKey(key) is None:
528                msg =  "no course result with key %(key)s" % vars()
529                break
530            self.course_results.modifyRecord(**mapping)
531            break
532        return key,msg,mapping
533    ###)
534
535    def remove(self,mapping):###(
536        key = ''
537        msg = ''
538        matric_no = mapping.get('matric_no','')
539        id = mapping.get('id','')
540        while True:
541            result = self.findStudent('edit',student_id=id,matric_no=matric_no)
542            msg = result['msg']
543            if msg:
544                break
545            student_record = result['student_record']
546            student_id = student_record.id
547            level_id = mapping.get('level_id','')
548            code = mapping.get('code','')
549            key = "%(student_id)s|%(level_id)s|%(code)s" % vars()
550            if self.course_results.getRecordByKey(key) is None:
551                msg =  "no course result with key %(key)s" % vars()
552                break
553            self.course_results.deleteRecord(key)
554            break
555        return key,msg,mapping
556    ###)
557###)
558
559class CertificateCourseImport(WAeUPImport):###(
560    name = "certificate_course"
561    plural_name = "%ss" % name
562    commit_after = 1000
563    required_modes = ('create','edit')
564
565    def create(self,mapping):
566        if getattr(self,'_v_courses',None) is None:
567            res = self.courses_catalog()
568            self._v_courses= [course.code for course in res]
569        if getattr(self,'_v_ceritficates',None) is None:
570            res = self.portal_catalog(portal_type = "Certificate")
571            self._v_certificates = {}
572            for cert in res:
573                self._v_certificates[cert.getId] = cert.getObject()
574        msg = ''
575        while True:
576            certificate_course_id = mapping.get('code')
577            if certificate_course_id not in self._v_courses:
578                msg =  "no course with id: %s" % certificate_course_id
579                break
580            cert_id = mapping['certificate_code']
581            cert = self._v_certificates.get(cert_id,None)
582            if cert is None:
583                msg =  "no certificate with id: %s" % cert_id
584                break
585            level_id = mapping.get('level')
586            level = getattr(cert,level_id,None)
587            if level is None:
588                cert.invokeFactory('StudyLevel', level_id)
589                level = getattr(cert,level_id,None)
590            elif hasattr(level,certificate_course_id):
591                msg =  "duplicate certificate course id: %(certificate_course_id)s " % vars()
592                msg += "in %(cert_id)s/ %(level_id)s" % vars()
593                break
594            level.invokeFactory('CertificateCourse', certificate_course_id)
595            c = getattr(level,certificate_course_id)
596            c.getContent().edit(mapping=mapping)
597            break
598        return certificate_course_id,msg,mapping
599    ###)
600
601class DepartmentImport(WAeUPImport):###(
602    name = "department"
603    plural_name = "%ss" % name
604    commit_after = 1000
605
606    def create(self,mapping):###(
607        "create a department in the correct faculty"
608        faculty_id = mapping['faculty_code']
609        msg = ''
610        if getattr(self,'_v_faculties',None) is None:
611            res = self.portal_catalog(portal_type = "Faculty")
612            self._v_faculties = {}
613            for f in res:
614                self._v_faculties[f.getId] = f.getObject()
615        department_id = mapping.get('code','')
616        while True:
617            faculty = self._v_faculties.get(faculty_id,None)
618            if faculty is None:
619                msg =  "no faculty with id: %s" % faculty_id
620                break
621            else:
622                d = getattr(faculty,department_id,None)
623                if d is None or d.portal_type == "Faculty":
624                    try:
625                        faculty.invokeFactory('Department', department_id)
626                    except BadRequest,E:
627                        msg =  "%s" % E
628                        break
629                    d = getattr(faculty,department_id)
630                    d.invokeFactory('CoursesFolder','courses')
631                    courses = getattr(d,'courses')
632                    dict = {'Title': 'Courses'}
633                    courses.getContent().edit(mapping=dict)
634                    d.invokeFactory('CertificatesFolder','certificates')
635                    certificates = getattr(d,'certificates')
636                    dict = {'Title': 'Certificates'}
637                    certificates.getContent().edit(mapping=dict)
638                    d.getContent().edit(mapping=mapping)
639            break
640        return department_id,msg,mapping
641    ###)
642
643    def edit(self,mapping): ###(
644        "edit a department in the correct faculty"
645        academics_folder = self.portal_url.getPortalObject().campus.academics
646        faculty_id = mapping['faculty_code']
647        department_id = mapping.get('code','')
648        msg = ''
649        while True:
650            try:
651                d = getattr(getattr(academics_folder,faculty_id),department_id,None)
652            except KeyError:
653                msg =  "department %s or faculty %s wrong" % (department_id,faculty_id)
654                break
655            if d is None or d.portal_type == "Faculty":
656                msg =  "department %s not found" % (department_id)
657                break
658            d.getContent().edit(mapping=mapping)
659            break
660        return department_id,msg,mapping
661    ###)
662###)
663
664class FacultyImport(WAeUPImport):###(
665    name = "faculty"
666    plural_name = "faculties"
667    commit_after = 100
668   
669
670    def create(self,mapping): ###(
671        "create a faculty"
672        academics_folder = self.portal_url.getPortalObject().campus.academics
673        faculty_id = mapping.get('code','')
674        msg = ''
675        while True:
676            if faculty_id in academics_folder.objectIds():
677                msg =  "faculty with id: %s exists" % faculty_id
678                break
679            try:
680                academics_folder.invokeFactory('Faculty', faculty_id)
681            except BadRequest,E:
682                msg =  "%s" % E
683                break
684            f = getattr(academics_folder,faculty_id,None)
685            f.getContent().edit(mapping=mapping)
686            break
687        return faculty_id,msg,mapping
688        ###)
689
690    def edit(self,mapping): ###(
691        "edit a faculty"
692        academics_folder = self.portal_url.getPortalObject().campus.academics
693        faculty_id = mapping['code']
694        msg = ''
695        while True:
696            f = getattr(academics_folder,faculty_id,None)
697            if f is None:
698                msg =  "faculty with id: %s does not exist" % faculty_id
699            f.getContent().edit(mapping=mapping)
700            break
701        return faculty_id,msg,mapping
702    ###)
703###)
704
705class StudentImport(WAeUPImport):###(
706    name = "student"
707    plural_name = "%ss" % name
708    commit_after = 100
709
710    field2types_student = {   ###(
711                      'StudentApplication':
712                          {'id': 'application',
713                           #'title': 'Application Data',
714                           'wf_transition_return': 'close',
715                           'wf_transition_admit': 'remain',
716                           'wf_transition_graduate': 'close',
717                           'wf_transition_pay_school_fee': 'close',
718                           'wf_transition_validate_courses': 'close',
719                           'fields':
720                             ('jamb_reg_no',
721                              'entry_mode',
722                              'entry_session',
723                              'jamb_score',
724                              'app_email',
725                              'app_mobile',
726                              'jamb_age',
727                              'jamb_state',
728                              'jamb_lga',
729                              'jamb_sex',
730                              'app_ac_pin',
731                              'app_reg_pin',
732                              'app_ac_date',                             
733                              )
734                              },
735                      'StudentClearance':
736                          {'id': 'clearance',
737                           #'title': 'Clearance/Eligibility Record',
738                           'wf_transition_return': 'close',
739                           'wf_transition_admit': 'remain',
740                           'wf_transition_graduate': 'close',
741                           'wf_transition_pay_school_fee': 'close',
742                           'wf_transition_validate_courses': 'close',
743                           'fields':
744                              ('matric_no',
745                              'nationality',
746                              'lga',
747                              'birthday',
748                              'clr_ac_pin',
749                              'request_date',
750                              'cleared_date',
751                              'clearance_officer',
752                              )
753                              },
754                         'StudentPersonal':
755                          {'id': 'personal',
756                           #'title': 'Personal Data',
757                           'wf_transition_return': 'open',
758                           'wf_transition_admit': 'remain',
759                           'wf_transition_graduate': 'close',
760                           'wf_transition_pay_school_fee': 'open',
761                           'wf_transition_validate_courses': 'open',
762                           'fields':
763                             ('firstname',
764                              'middlename',
765                              'lastname',
766                              'sex',
767                              'email',
768                              'phone',
769                              'perm_address',
770                              'marit_stat',
771                              'disabled',
772                              )
773                              },
774                         'StudentStudyCourse':
775                          {'id': 'study_course',
776                           #'title': 'Study Course',
777                           'wf_transition_return': 'open',
778                           'wf_transition_admit': 'remain',
779                           'wf_transition_graduate': 'close',
780                           'wf_transition_pay_school_fee': 'open',
781                           'wf_transition_validate_courses': 'open',
782                           'fields':
783                             ('study_course',
784                              'current_level',
785                              'current_session',
786                              'current_mode',  #is no longer used and visible but can still be imported
787                              'current_verdict',
788                              'previous_verdict',
789                              )
790                              },
791                         'StudentAccommodation':
792                          {'id': 'accommodation_final',
793                           'title': '',
794                           'wf_transition_return': 'remain',
795                           'wf_transition_admit': 'remain',
796                           'wf_transition_graduate': 'remain',
797                           'wf_transition_pay_school_fee': 'remain',
798                           'wf_transition_validate_courses': 'remain',
799                           'fields':
800                           ('acco_maint_date',
801                              'acco_maint_code',
802                              'acco_maint_fee',
803                              'acco_maint_sc_pin',
804                              'acco_maint_pay_id',
805                              'acco_res_date',
806                              'acco_res_sc_pin',
807                              'bed',
808                              'session',
809                              'student_status',
810                              )     
811                              },
812                         'PaymentsFolder':
813                          {'id': 'payments',
814                           #'title': 'Payments',
815                           'wf_transition_return': 'open',
816                           'wf_transition_admit': 'open',
817                           'wf_transition_graduate': 'close',
818                           'wf_transition_pay_school_fee': 'open',
819                           'wf_transition_validate_courses': 'open',
820                           'fields':
821                             ()
822                              },
823                         }
824    ###)
825
826    def create(self,mapping): ###(
827        "create student records due import"
828        logger = logging.getLogger('WAeUPImport.StudentImport.create')
829        students_folder = self.portal_url.getPortalObject().campus.students
830        jamb_reg_no = mapping.get('jamb_reg_no',None)
831        matric_no = mapping.get('matric_no',None)
832        entry_mode = mapping.get('entry_mode',None)
833        password = mapping.get('password',None)
834        msg = ''
835        student_id = mapping.get('id',None)
836        while True:
837            if student_id:
838                #msg = "student_id must not be specified in create mode"
839                #break
840                res = self.students_catalog(id = student_id)
841                if res:
842                    msg = "student_id %s already assigned" % res[0].id
843                    break     
844                self.waeup_tool.restorePictureFolder(student_id)           
845            else:
846                student_id = self.waeup_tool.generateStudentId('?')
847            if jamb_reg_no and not entry_mode == 'transfer':
848                res = self.students_catalog(jamb_reg_no = jamb_reg_no)
849                if res:
850                    msg = "jamb_reg_no already assigned to student %s" % res[0].id
851                    break
852            if matric_no:
853                res = self.students_catalog(matric_no = matric_no)
854                if res:
855                    msg = "matric_no already assigned to student %s" % res[0].id
856                    break
857            if not matric_no and not jamb_reg_no:
858                msg = "jamb_reg_no or matric_no must be specified"
859                break
860           
861            students_folder.invokeFactory('Student', student_id)
862            student_obj = getattr(students_folder,student_id)
863            f2t = self.field2types_student
864            d = {}
865            transition = mapping.get('reg_transition','admit')
866            if transition not in ('admit','return','pay_school_fee','validate_courses','graduate'):
867                msg = "no valid transition provided"
868                break
869            for pt in f2t.keys():
870                if pt == 'StudentAccommodation':
871                    if mapping.get('bed',None):
872                        student_obj.invokeFactory(pt,f2t[pt]['id'])
873                    else:
874                        continue
875                else:
876                    student_obj.invokeFactory(pt,f2t[pt]['id'])
877                sub_obj = getattr(student_obj,f2t[pt]['id'])
878                sub_doc = sub_obj.getContent()
879                #d['Title'] = f2t[pt]['title']
880                for field in f2t[pt]['fields']:
881                    d[field] = mapping.get(field,'')
882
883                if pt == "StudentApplication":
884                    #d['jamb_sex']  = 'M'
885                    #if mapping.get('sex'):
886                    #    d['jamb_sex']  = 'F'
887                    d['jamb_firstname'] = mapping.get('firstname',None)
888                    d['jamb_middlename'] = mapping.get('middlename',None)
889                    d['jamb_lastname'] = mapping.get('lastname',None)
890
891                # if pt == "StudyCourse":
892                #     for von,zu in (('entry_mode','current_mode'),
893                #                    ('entry_session','current_session')):
894                #         if mapping.get(zu,None) is None and mapping.get(von,None) is not None:
895                #             d[zu] = mapping[von]
896                sub_doc.edit(mapping = d)
897
898                #import pdb;pdb.set_trace()
899                new_state = f2t[pt]['wf_transition_%(transition)s' % vars()]
900                if new_state != "remain":
901                    self.portal_workflow.doActionFor(sub_obj,new_state,dest_container=sub_obj)
902            self.portal_workflow.doActionFor(student_obj,transition)
903            student_obj.manage_setLocalRoles(student_id, ['Owner',])
904            mapping['id'] = student_id
905            if password:
906                self.waeup_tool.makeStudentMember(student_id,password)
907            break
908        return student_id,msg,mapping
909    ###)
910
911    def remove(self,mapping): ###(
912        "remove student records due import"
913        logger = logging.getLogger('WAeUPImport.StudentImport.remove')
914        students_folder = self.portal_url.getPortalObject().campus.students
915        stdir = self.portal_directories.students
916        student_id = mapping.get('id',None)
917        msg = ''
918        export_file = "%s/export/students_removed.csv" % (i_home)
919        reimport_file = "%s/export/students_for_reimport.csv" % (i_home)
920       
921        toexport_for_reimport = {
922       
923                    'application':
924                             ('jamb_reg_no',
925                              'entry_mode',
926                              'entry_session',
927                              'jamb_score',
928                              'app_email',
929                              'app_mobile',
930                              'jamb_age',
931                              'jamb_state',
932                              'jamb_lga',
933                              'jamb_sex',
934                              'app_ac_pin',
935                              'app_reg_pin',
936                              'app_ac_date',                             
937                              ),
938                    'clearance':
939                              ('matric_no',
940                              'nationality',
941                              'lga',
942                              'birthday',
943                              'clr_ac_pin',
944                              'request_date',
945                              'cleared_date',
946                              'clearance_officer',
947                              ),
948                    'study_course':
949                              ('study_course',
950                              'current_level',
951                              'current_session',
952                              'current_verdict',
953                              'previous_verdict',
954                              ),
955                    'personal': 
956                             ('firstname',
957                              'middlename',
958                              'lastname',
959                              'sex',
960                              'email',
961                              'phone',
962                              'perm_address',
963                              'marit_stat',
964                              'disabled',
965                              ),
966                    'accommodation': 
967                             ('acco_maint_date',
968                              'acco_maint_code',
969                              'acco_maint_fee',
970                              'acco_maint_sc_pin',
971                              'acco_maint_pay_id',
972                              'acco_res_date',
973                              'acco_res_sc_pin',
974                              'bed',
975                              'session',
976                              'student_status',
977                              ),                             
978                   }
979
980        sub_types = ['StudentApplication','StudentClearance','StudentPersonal','StudentStudyCourse','StudentAccommodation']
981        non_image_keys = {}
982        for i in sub_types:
983            pt_ob = getattr(self.types_tool,i)
984            sub_schemas = pt_ob.schemas
985            for i in sub_schemas:
986                if i.startswith('student_'):
987                    schema = getattr(self.schema_tool,i)
988                    field_id = i.replace('student_','')
989                    non_image_keys[field_id] = [key for key in schema.keys()
990                                                if schema[key].meta_type != "CPS Image Field"]
991       
992        # export field names must be unique but, unfortunately, firstname, middlename and lastname are not
993        # thus we have to omit them
994        non_image_keys['clearance'].remove('firstname')
995        non_image_keys['clearance'].remove('middlename')
996        non_image_keys['clearance'].remove('lastname')
997        toexport = non_image_keys
998        #import pdb;pdb.set_trace()
999        while True:
1000            if hasattr(students_folder,student_id):
1001                # begin export
1002                line = []
1003                fields = ['student_id','reg_state','password']
1004                line_for_reimport = []
1005                fields_for_reimport = ['student_id','reg_state','password','import_mode']               
1006                #fields = []
1007                #for f in self.students_catalog.schema():
1008                #    fields.append(f)               
1009                for k in toexport.keys():
1010                    for f in toexport[k]:
1011                        fields.append(f)
1012                for k in toexport_for_reimport.keys():
1013                    for f in toexport_for_reimport[k]:
1014                        fields_for_reimport.append(f)                       
1015                if not os.path.exists(export_file):       
1016                    headline = ','.join(fields)
1017                    open(export_file,"a").write(headline +'\n')
1018                if not os.path.exists(reimport_file): 
1019                    headline_for_reimport = ','.join(fields_for_reimport)                   
1020                    open(reimport_file,"a").write(headline_for_reimport +'\n')                   
1021                format = '"%(' + ')s","%('.join(fields) + ')s"'
1022                format_for_reimport = '"%(' + ')s","%('.join(fields_for_reimport) + ')s"'
1023                res = self.students_catalog(id = student_id)
1024                student = res[0]
1025                student_obj = getattr(students_folder,student_id)
1026                #d = student.getFormattedStudentEntry(student)
1027                d = {'student_id':student_id,'reg_state':student.review_state,'import_mode':'create'}
1028                for k in toexport.keys()[0:]:
1029                    if k.startswith('acco'):
1030                        session = self.session
1031                        subobject = 'accommodation_' + session
1032                    else:
1033                        subobject = k
1034                    try:
1035                        object = getattr(student_obj,subobject)
1036                        object_doc = object.getContent()
1037                    except:
1038                        for f in toexport[k]:
1039                            d[f] = ''
1040                        continue
1041                    for f in toexport[k]:
1042                        d[f] = getattr(object_doc,f,'')
1043                if hasattr(stdir, student_id):
1044                    d['password'] = self.waeup_tool.getCredential(student_id)
1045                    stdir.deleteEntry(student_id)
1046                else:
1047                    d['password'] = "not set"
1048                self.waeup_tool.removePictureFolder(student_id)       
1049                line.append(format % d)
1050                open(export_file,"a").write('\n'.join(line) +'\n')
1051                line_for_reimport.append(format_for_reimport % d)
1052                open(reimport_file,"a").write('\n'.join(line_for_reimport) +'\n')               
1053                self.course_results.exportRemoveAllCourses(student_id = student_id, export = True, remove = True)
1054                # remove should be false, otherwise an uncatalog error occurs if payment objects exist
1055                self.payments_catalog.exportRemoveAllPayments(student_id = student_id, export = True, remove = False)
1056                self.waeup_tool.exportAllStudyLevels(student_id = student_id)
1057                # end export
1058                students_folder.manage_delObjects((student_id),) 
1059                try:
1060                    self.removed_student_ids.addRecord(id = student_id)
1061                except: 
1062                    msg = "Student already in removed_student_ids"
1063            else:
1064                msg = "Student object not found"
1065                break
1066     
1067            break
1068        return student_id,msg,mapping     
1069
1070
1071    def edit(self,mapping): ###(
1072        "edit student records due import"
1073        wftool = self.portal_workflow
1074        logger = logging.getLogger('WAeUPImport.StudentImport.edit')
1075        students_folder = self.portal_url.getPortalObject().campus.students
1076        student_id = mapping.get('id',None)
1077        jamb_reg_no = mapping.get('jamb_reg_no',None)
1078        matric_no = mapping.get('matric_no',None)
1079        editable_keys = mapping.keys()
1080        password = mapping.get('password',None)
1081        msg = ''
1082        while True:
1083            if student_id:
1084                res = self.students_catalog(id = student_id)
1085                if not res:
1086                    msg = "no student with id %s" % student_id
1087                    break
1088                student_record = res[0]
1089                if matric_no and student_record.matric_no:
1090                    if  matric_no != student_record.matric_no and not matric_no == 'transferred':
1091                        res = self.students_catalog(matric_no = matric_no)
1092                        if res:
1093                            msg = "matric_no already assigned to student %s" % res[0].id
1094                            break
1095                        msg = "old matric_no %s overwritten with %s" % (student_record.matric_no,matric_no)
1096                        #logger.info("%s, old matric_no %s overwritten with %s" % (student_record.id,student_record.matric_no,matric_no))
1097                if jamb_reg_no and student_record.jamb_reg_no:
1098                    if jamb_reg_no != student_record.jamb_reg_no:
1099                        res = self.students_catalog(jamb_reg_no = jamb_reg_no)
1100                        if res:
1101                            msg = "jamb_reg_no already assigned to student %s" % res[0].id
1102                            break
1103                        msg = "old jamb_reg_no %s overwritten with %s" % (student_record.jamb_reg_no,jamb_reg_no)
1104                        #logger.info("%s, old reg_no %s overwritten with %s" % (student_record.id,student_record.jamb_reg_no,jamb_reg_no))
1105            elif jamb_reg_no:
1106                res = self.students_catalog(jamb_reg_no = jamb_reg_no)
1107                if not res:
1108                    msg = "no student with jamb_reg_no %s" % jamb_reg_no
1109                    break
1110                student_record = res[0]
1111                editable_keys.remove('jamb_reg_no')
1112            elif matric_no:
1113                res = self.students_catalog(matric_no = matric_no)
1114                if not res:
1115                    msg = "no student with matric_no %s" % matric_no
1116                    break
1117                student_record = res[0]
1118                editable_keys.remove('matric_no')
1119            student_id = student_record.id
1120            student_obj = getattr(students_folder,student_id)
1121            f2t = self.field2types_student
1122            d = {}
1123            any_change = False
1124            #special treatment for StudentStudyLevel
1125            d['verdict']  = mapping.get('current_verdict','')
1126            d['session']  = mapping.get('current_session','')
1127            current_level = mapping.get('current_level','')
1128            transition = mapping.get('reg_transition',None)
1129            # the validate_courses import transition is not really useful because it does not execute validate_courses.py
1130            if transition and transition not in ('admit','return','graduate','pay_school_fee','validate_courses'):
1131                msg = "no valid transition provided"
1132                break     
1133            while d['session'] and d['verdict'] and current_level:
1134                sub_obj = getattr(student_obj,'study_course',None)
1135                if sub_obj is None:
1136                    break
1137                level_obj = getattr(sub_obj,current_level,None)
1138                if  level_obj is None:
1139                    break
1140                any_change = True
1141                level_obj.getContent().edit(mapping = d)
1142                try:
1143                    wftool.doActionFor(level_obj,'close')
1144                except:
1145                    pass
1146                break
1147           
1148            for pt in f2t.keys():
1149                #if pt == "StudentApplication":
1150                #    d['jamb_sex']  = 'M'
1151                #    if mapping.get('sex'):
1152                #        d['jamb_sex']  = 'F'
1153                intersect = set(f2t[pt]['fields']).intersection(set(editable_keys))
1154                #import pdb;pdb.set_trace()
1155                object_id = f2t[pt]['id']
1156                sub_obj = getattr(student_obj,object_id,None)
1157                if intersect and pt not in ('StudentStudyLevel',):
1158                    if sub_obj is None:
1159                        try:
1160                            student_obj.invokeFactory(pt,object_id)
1161                        except:
1162                            continue
1163                        sub_obj = getattr(student_obj,object_id)
1164                        #if f2t[pt]['title'] != '':
1165                        #    d['Title'] = f2t[pt]['title']
1166                    sub_doc = sub_obj.getContent()
1167                    for field in intersect:
1168                        changed = False
1169                        if getattr(sub_doc,field,None) != mapping.get(field,''):
1170                            any_change = True
1171                            changed = True
1172                            d[field] = mapping.get(field,'')
1173                        if changed:
1174                            sub_doc.edit(mapping = d)
1175                if transition:
1176                    new_state = f2t[pt]['wf_transition_%(transition)s' % vars()]
1177                    if new_state != "remain":
1178                        try:
1179                            self.portal_workflow.doActionFor(sub_obj,new_state,dest_container=sub_obj)
1180                        except:
1181                            pass
1182            if transition:
1183                try:
1184                    self.portal_workflow.doActionFor(student_obj,transition)
1185                except:
1186                    msg = "reg_transition not allowed"
1187            if password:
1188                self.waeup_tool.editPassword(student_id,password)
1189            break
1190        return student_id,msg,mapping
1191    ###)
1192###)
1193
1194class StudentStudyLevelImport(WAeUPImport):###(
1195    """ StudentStudyLevelImport """
1196    name = "student_study_level"
1197    plural_name = "%ss" % name
1198    commit_after = 1000000
1199    required_modes = ('create',)
1200
1201    def create(self,mapping): ###(
1202        "edit student levels and create StudentStudyLevel object if not existent"
1203        wftool = self.portal_workflow
1204        logger = logging.getLogger('WAeUPImport.StudentStudyLevelImport.create')
1205        students_folder = self.portal_url.getPortalObject().campus.students
1206        student_id = mapping.get('id',None)
1207        matric_no = mapping.get('matric_no',None)
1208        editable_keys = mapping.keys()
1209        key = ''
1210        msg = ''
1211        while True:
1212            result = self.findStudent('create',student_id=student_id,matric_no=matric_no)
1213            msg = result['msg']
1214            if msg:
1215                break
1216            student_record = result['student_record']
1217            student_id = student_record.id
1218            mapping['id'] = student_id
1219            session = mapping.get('session','')
1220            level = key = mapping.get('code','')
1221            if not level.isdigit():
1222                msg = 'student %s: imported level is empty' % (student_id,)
1223                break
1224            study_course_obj = getattr(getattr(students_folder,student_id),'study_course',None)
1225            if study_course_obj is None:
1226                msg = 'student %s: no study_course object' % student_id
1227                break
1228            level_obj = getattr(study_course_obj,level,None)
1229            if  level_obj is None:
1230                # The only difference to the edit method is that we create a StudentStudyLevel object
1231                try:
1232                    study_course_obj.invokeFactory('StudentStudyLevel',"%s" % level)
1233                    level_obj = getattr(context,"%s" % level)
1234                except:
1235                    continue
1236            level_obj.getContent().edit(mapping = mapping)
1237            level_review_state = wftool.getInfoFor(level_obj,'review_state',None)
1238            if level_review_state != "closed":
1239                wftool.doActionFor(level_obj,'close')
1240            break
1241        return key,msg,mapping
1242    ###)
1243
1244    def edit(self,mapping): ###(
1245        "edit student levels"
1246        wftool = self.portal_workflow
1247        logger = logging.getLogger('WAeUPImport.StudentStudyLevelImport.edit')
1248        students_folder = self.portal_url.getPortalObject().campus.students
1249        student_id = mapping.get('id',None)
1250        matric_no = mapping.get('matric_no',None)
1251        key = ''
1252        msg = ''
1253        while True:
1254            result = self.findStudent('create',student_id=student_id,matric_no=matric_no)
1255            msg = result['msg']
1256            if msg:
1257                break
1258            student_record = result['student_record']
1259            student_id = student_record.id
1260            mapping['id'] = student_id
1261            session = mapping.get('session','')
1262            level = key = mapping.get('code','')
1263            #import pdb;pdb.set_trace()
1264            if not level.isdigit():
1265                msg = 'student %s: imported level is empty' % (student_id,)
1266                break
1267            study_course_obj = getattr(getattr(students_folder,student_id),'study_course',None)
1268            if study_course_obj is None:
1269                msg = 'student %s: no study_course object' % student_id
1270                break
1271            level_obj = getattr(study_course_obj,level,None)
1272            if  level_obj is None:
1273                msg = 'student %s: no study_level object for level %s' % (student_id,level)
1274                break
1275            level_obj.getContent().edit(mapping = mapping)
1276            break
1277        return key,msg,mapping
1278    ###)
1279###)
1280
1281class VerdictImport(WAeUPImport):###(
1282    """ VerdictImport """
1283    name = "verdict"
1284    plural_name = "%ss" % name
1285    commit_after = 1000
1286    required_modes = ('create','edit')
1287
1288    def create(self,mapping): ###(
1289        "edit student verdicts and create StudentStudyLevel object if not existent"
1290        wftool = self.portal_workflow
1291        logger = logging.getLogger('WAeUPImport.VerdictImport.create')
1292        students_folder = self.portal_url.getPortalObject().campus.students
1293        student_id = mapping.get('id',None)
1294        matric_no = mapping.get('matric_no',None)
1295        editable_keys = mapping.keys()
1296        key = ''
1297        while True:
1298            result = self.findStudent('create',student_id=student_id,matric_no=matric_no)
1299            #student_record,msg = self.getStudentRecord(mapping)
1300            msg = result['msg']
1301            if msg:
1302                break
1303            student_record = result['student_record']
1304            student_id = student_record.id
1305            mapping['id'] = student_id
1306            d = {}
1307            #import pdb;pdb.set_trace()
1308            any_change = False
1309            #special treatment for StudentStudyLevel
1310            current_session = d['session'] = mapping.get('current_session','')
1311            if current_session and student_record.session != current_session:
1312                msg = 'student %s: imported session %s does not match current_session %s' % (student_id,
1313                                                                                            current_session,
1314                                                                                            student_record.session)
1315                break
1316            current_level = mapping.get('current_level','')
1317            if not current_level.isdigit():
1318                msg = 'student %s: imported level is empty' % (student_id,)
1319                break
1320            if current_level and student_record.level != current_level:
1321                msg = 'student %s: imported level %s does not match current_level %s' % (student_id,
1322                                                                                        current_level,
1323                                                                                        student_record.level)
1324                break
1325            student_review_state =  student_record.review_state
1326            if student_review_state == 'deactivated':
1327                msg = "student %s in review_state %s" % (student_id, student_review_state)
1328                break
1329            if student_review_state not in ('courses_validated','returning'):
1330                msg = "student %s in wrong review_state %s" % (student_id, student_review_state)
1331                break
1332            student_obj = getattr(students_folder,student_id)
1333            # f2t = self.field2types_student
1334            study_course_obj = getattr(student_obj,'study_course',None)
1335            if study_course_obj is None:
1336                msg = 'student %s: no study_course object' % student_id
1337                break
1338            level_obj = getattr(study_course_obj,current_level,None)
1339
1340            if  level_obj is None:
1341                # The only difference to the edit method is that we create a StudentStudyLevel object
1342                try:
1343                    study_course_obj.invokeFactory('StudentStudyLevel',"%s" % current_level)
1344                    level_obj = getattr(context,"%s" % current_level)
1345                    level_obj.portal_workflow.doActionFor(level,'open')
1346                except:
1347                    continue
1348                #msg = 'student %s: no study_level object for level %s' % (student_id,
1349                #                                                                current_level)
1350                #break
1351
1352            verdict = d['verdict'] = d['current_verdict']  = mapping.get('current_verdict','')
1353
1354            #if verdict == student_record.verdict:
1355            #    msg = 'student %s: verdict already set to %s' % (student_id,
1356            #                                                            verdict)
1357
1358            level_review_state = wftool.getInfoFor(level_obj,'review_state',None)
1359            if level_review_state != "closed":
1360                wftool.doActionFor(level_obj,'close')
1361                # msg = 'student %s: level %s is not closed' % (student_id,
1362                #                                                      current_level)
1363
1364            study_course_obj.getContent().edit(mapping = d)
1365            level_obj.getContent().edit(mapping = d)
1366            if student_review_state != "returning":
1367                wftool.doActionFor(student_obj,'return')
1368            # try:
1369            #     wftool.doActionFor(level_obj,'close')
1370            # except:
1371            #     pass
1372            break
1373        return student_id,msg,mapping
1374    ###)
1375
1376
1377    def edit(self,mapping): ###(
1378        "edit student verdicts"
1379        wftool = self.portal_workflow
1380        logger = logging.getLogger('WAeUPImport.VerdictImport.edit')
1381        students_folder = self.portal_url.getPortalObject().campus.students
1382        student_id = mapping.get('id',None)
1383        matric_no = mapping.get('matric_no',None)
1384        editable_keys = mapping.keys()
1385        key = ''
1386        while True:
1387            result = self.findStudent('edit',student_id=student_id,matric_no=matric_no)
1388            #student_record,msg = self.getStudentRecord(mapping)
1389            msg = result['msg']
1390            if msg:
1391                break
1392            student_record = result['student_record']
1393            key_used = result['key_used']
1394            if key_used in editable_keys:
1395                editable_keys.remove(key_used)
1396            student_id = student_record.id
1397            mapping['id'] = student_id
1398            d = {}
1399            #import pdb;pdb.set_trace()
1400            any_change = False
1401            #special treatment for StudentStudyLevel
1402            current_session = d['session'] = mapping.get('current_session','')
1403            if current_session and student_record.session != current_session:
1404                msg = 'student %s: imported session %s does not match current_session %s' % (student_id,
1405                                                                                            current_session,
1406                                                                                            student_record.session)
1407                break
1408            current_level = mapping.get('current_level','')
1409            if not current_level.isdigit():
1410                msg = 'student %s: imported level is empty' % (student_id,)
1411                break
1412            if current_level and student_record.level != current_level:
1413                msg = 'student %s: imported level %s does not match current_level %s' % (student_id,
1414                                                                                        current_level,
1415                                                                                        student_record.level)
1416                break
1417            student_review_state =  student_record.review_state
1418            if student_review_state == 'deactivated':
1419                msg = "student %s in review_state %s" % (student_id, student_review_state)
1420                break
1421            if student_review_state not in ('courses_validated','returning'):
1422                msg = "student %s in wrong review_state %s" % (student_id, student_review_state)
1423                break
1424            student_obj = getattr(students_folder,student_id)
1425            # f2t = self.field2types_student
1426            study_course_obj = getattr(student_obj,'study_course',None)
1427            if study_course_obj is None:
1428                msg = 'student %s: no study_course object' % student_id
1429                break
1430            level_obj = getattr(study_course_obj,current_level,None)
1431            if  level_obj is None:
1432                msg = 'student %s: no study_level object for level %s' % (student_id,
1433                                                                                current_level)
1434                break
1435            verdict = d['verdict'] = d['current_verdict']  = mapping.get('current_verdict','')
1436
1437            #if verdict == student_record.verdict:
1438            #    msg = 'student %s: verdict already set to %s' % (student_id,
1439            #                                                            verdict)
1440
1441            level_review_state = wftool.getInfoFor(level_obj,'review_state',None)
1442            if level_review_state != "closed":
1443                wftool.doActionFor(level_obj,'close')
1444                # msg = 'student %s: level %s is not closed' % (student_id,
1445                #                                                      current_level)
1446
1447            study_course_obj.getContent().edit(mapping = d)
1448            level_obj.getContent().edit(mapping = d)
1449            if student_review_state != "returning":
1450                wftool.doActionFor(student_obj,'return')
1451            # try:
1452            #     wftool.doActionFor(level_obj,'close')
1453            # except:
1454            #     pass
1455            break
1456        return student_id,msg,mapping
1457    ###)
1458
1459   
1460   
1461class PaymentImport(WAeUPImport):###(
1462    """ PaymentImport """
1463    name = "payment"
1464    plural_name = "%ss" % name
1465    commit_after = 1000000
1466    required_modes = ('create',)
1467
1468    def create(self,mapping): ###(
1469        "create payment object"
1470        wftool = self.portal_workflow
1471        logger = logging.getLogger('WAeUPImport.PaymentImport.create')
1472        students_folder = self.portal_url.getPortalObject().campus.students
1473        student_id = mapping.get('id',None)
1474        order_id = key= mapping.get('order_id',None)
1475        payment_type = mapping.get('type',None)
1476        editable_keys = mapping.keys()
1477        key = ''
1478        msg = ''
1479        while True:
1480            result = self.findStudent('create',student_id=student_id)
1481            msg = result['msg']
1482            if msg:
1483                break           
1484            if payment_type == 'sc':
1485                hyphen = order_id.rfind('-')
1486                if not hyphen > -1:
1487                    msg = '%s: wrong order_id of sc payment' % student_id
1488                    break
1489                payment_object_id = 'p' + order_id[hyphen+1:]
1490            elif payment_type == 'online':
1491                payment_object_id = 'p' + order_id[6:]
1492            else:
1493                msg = '%s: no payment type defined' % student_id
1494                break
1495            student_record = result['student_record']
1496            student_id = student_record.id
1497
1498            mapping['id'] = student_id
1499            payments_folder = getattr(getattr(students_folder,student_id),'payments',None)
1500            if payments_folder is None:
1501                msg = '%s: no payments folder' % student_id
1502                break
1503            if getattr(payments_folder,payment_object_id,False):
1504                msg = '%s: payment object with id %s exists' % (student_id,payment_object_id)
1505                break
1506            try:
1507                #import pdb;pdb.set_trace()
1508                payments_folder.invokeFactory('Payment',"%s" % payment_object_id)
1509                payment_obj = getattr(payments_folder,"%s" % payment_object_id)
1510            except:
1511                msg = '%s: payment object %s cannot be created' % (student_id,payment_object_id)
1512                break
1513            payment_obj.getContent().edit(mapping = mapping)
1514            wftool.doActionFor(payment_obj,'close')
1515            break
1516        return key,msg,mapping
1517    ###)
1518   
1519   
1520   
1521    def remove(self,mapping):
1522        order_id = mapping.get('order_id')
1523        msg = ''
1524        while True:
1525            if self.payments_catalog.getRecordByKey(order_id) is None:
1526                msg =  "no payment record with order_id %(order_id)s" % vars()
1527                break
1528            self.payments_catalog.deleteRecord(order_id)
1529            break
1530        return order_id,msg,mapping       
1531   
1532   
1533###)
Note: See TracBrowser for help on using the repository browser.