source: WAeUP_SRP/base/WAeUPImport.py @ 3361

Last change on this file since 3361 was 3360, checked in by Henrik Bettermann, 17 years ago

add class StudentStudyLevelImport? (without edit method)

The upload already works.
  • Property svn:keywords set to Id
File size: 49.6 KB
Line 
1#-*- mode: python; mode: fold -*-
2# (C) Copyright 2005 The WAeUP group  <http://www.waeup.org>
3# Author: Joachim Schmitz (js@aixtraware.de)
4#
5# This program is free software; you can redistribute it and/or modify
6# it under the terms of the GNU General Public License version 2 as published
7# by the Free Software Foundation.
8#
9# This program is distributed in the hope that it will be useful,
10# but WITHOUT ANY WARRANTY; without even the implied warranty of
11# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12# GNU General Public License for more details.
13#
14# You should have received a copy of the GNU General Public License
15# along with this program; if not, write to the Free Software
16# Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
17# 02111-1307, USA.
18#
19# $Id: WAeUPImport.py 3360 2008-03-19 21:02:39Z henrik $
20"""The WAeUP Tool Box.
21"""
22
23#from AccessControl import ClassSecurityInfo
24#from Acquisition import aq_inner
25#from Acquisition import aq_parent
26#from Globals import DTMLFile
27#from Globals import InitializeClass
28from OFS.SimpleItem import SimpleItem
29from zExceptions import BadRequest
30
31#from Products.CMFCore.utils import getToolByName
32#from Products.CPSSchemas.DataStructure import DataStructure
33#from Products.CPSSchemas.DataModel import DataModel
34#from Products.CPSSchemas.StorageAdapter import MappingStorageAdapter
35from Products.CMFCore.ActionProviderBase import ActionProviderBase
36#from Products.CMFCore.permissions import View
37#from Products.ZCatalog.ZCatalog import ZCatalog
38#from Products.CMFCore.permissions import ModifyPortalContent
39#from Products.CMFCore.permissions import ManagePortal
40from Products.CMFCore.utils import UniqueObject
41#from Products.CMFCore.URLTool import URLTool
42from Products.CMFCore.utils import getToolByName
43from Globals import package_home,INSTANCE_HOME
44from Products.AdvancedQuery import Eq, Between, Le,In
45import csv,re,os,sys
46from shutil import copy2
47import DateTime,time
48import logging
49p_home = package_home(globals())
50i_home = INSTANCE_HOME
51from utils import makeDigest
52
53NO_KEY = '----'
54IGNORE = 'ignore'
55class WAeUPImport(UniqueObject, SimpleItem, ActionProviderBase): ###(
56    """ WAeUPImport """
57    required_modes = ('create',)
58
59    def __init__(self,waeup_tool): ###(
60        self.students_folder = waeup_tool.portal_url.getPortalObject().campus.students
61        self.member = member = waeup_tool.portal_membership.getAuthenticatedMember()
62        self.import_date = DateTime.DateTime()
63        self.imported_by = str(member)
64        #self.current = DateTime.DateTime().strftime("%d-%m-%y_%H_%M_%S")
65        self.waeup_tool = waeup_tool
66        self.academics_folder = waeup_tool.portal_url.getPortalObject().campus.academics
67        self.schema_tool = getToolByName(waeup_tool, 'portal_schemas')
68        self.layout_tool = getToolByName(waeup_tool, 'portal_layouts')
69        self.portal_workflow = getToolByName(waeup_tool, 'portal_workflow')
70        self.portal_url = getToolByName(waeup_tool, 'portal_url')
71        self.portal_catalog = waeup_tool.portal_catalog
72        self.students_catalog = waeup_tool.students_catalog
73        self.courses_catalog = waeup_tool.courses_catalog
74        self.course_results = waeup_tool.course_results
75        self.applicants_catalog = waeup_tool.applicants_catalog
76        #self.mode = mode
77        # self.import_method = getattr(self, '%s' % mode,None)
78        errors = []
79        # if self.import_method is None:
80        #     errors.append('No importer method %s' % mode)
81        self.pending_path = "%s/import/%s.pending" % (i_home,self.plural_name)
82        self.pending_tmp = "%s/import/%s.pending.tmp" % (i_home,self.plural_name)
83        self.pending_backup = "%s/import/%s.pending.old" % (i_home,self.plural_name)
84        self.pending_fn = os.path.split(self.pending_path)[1]
85        self.imported_path = "%s/import/%s.imported" % (i_home,self.plural_name)
86        self.imported_fn = os.path.split(self.imported_path)[1]
87        iname = "import_%s" % self.name
88        self.logger = logging.getLogger('WAeUPImport.%sImport' % self.plural_name.capitalize())
89        self.schema = self.schema_tool._getOb(iname,None)
90        #self.pending_schema = self.schema_tool._getOb("%s_pending" % iname,None)
91        self.layout = self.layout_tool._getOb(iname,None)
92        while True:
93            if self.schema is None:
94                errors.append('no schema %s' % iname)
95            # if self.pending_schema is None:
96            #     self.pending_schema = self.schema
97            if self.layout is None:
98                errors.append('no such layout %s' % iname)
99            if errors:
100                break
101            self.data_keys = self.schema.keys()
102            self.csv_keys = self.schema.keys()
103            info = {}
104            info['imported_from'] = ''
105            info['import_record_no'] = 0
106            info['imported_by'] = self.imported_by
107            info['import_date'] = self.import_date.strftime("%d/%m/%y %H:%M:%S")
108            info['error'] = ''
109            self.info = info
110            self.csv_keys.extend(self.info)
111            self.validators = {}
112            for widget in self.layout.keys():
113                self.validators[widget] = self.layout[widget].validate
114            self.required_keys = {}
115            for mode in self.required_modes:
116                self.required_keys[mode] = [self.layout.getIdUnprefixed(id)
117                                    for id,widget in self.layout.objectItems()
118                                    if widget.is_required]
119            break
120        self.init_errors = ','.join(errors)
121    ###)
122
123    def makeIdLists(self): ###(
124        pending_digests = []
125        pending = []
126        # pending_student_ids = []
127        # pending_matric_nos = []
128        # pending_reg_ns = []
129        if os.path.exists(self.pending_path):
130            datafile = open(self.pending_path,"r")
131            reader = csv.reader(datafile)
132            old_headline = reader.next()
133            #datafile.seek(0)
134            pending_csv_reader = csv.DictReader(datafile,old_headline,)
135            #pending_csv_reader.next() # skip headline
136            for item in pending_csv_reader:
137                digest = makeDigest(item,self.data_keys)
138                if digest not in pending_digests:
139                    pending_digests += digest,
140                    pending += item,
141            datafile.close()
142            #copy2(self.pending_path,self.pending_backup)
143        return pending, pending_digests
144    ###)
145
146    def checkHeadline(self,headline): ###(
147        """ check the headline of a csv file """
148        import_keys = [k.strip() for k in headline if not (k.strip().startswith('ignore')
149                                                        or k.strip() in self.info.keys())]
150        # import_keys = [k.strip() for k in headline if not (k.strip() in self.info.keys())]
151        diff2schema = set(import_keys).difference(set(self.schema.keys()))
152        diff2layout = set(import_keys).difference(set(self.layout.keys()))
153        #if diff2schema and diff2schema != set(['id',]):
154        if diff2schema:
155            return list(diff2schema)
156        return []
157    ###)
158
159    def getHeadlineFields(self,headline,values): ###(
160        """ check the headline of a csv file """
161        # import_keys = [k.strip() for k in headline if not (k.strip().startswith('ignore')
162        #                                                 or k.strip() in self.info.keys())]
163        import_keys = [k.strip() for k in headline if not (k.strip() in self.info.keys())]
164        info_keys = [k.strip() for k in headline if k.strip() in self.info.keys()]
165        si = set(import_keys)
166        ss = set(self.schema.keys())
167
168        invalid_keys = si - ss
169        keys = []
170        i = 0
171        duplicates = False
172        singels = []
173        msg = ''
174        while True:
175            if len(values) != len(import_keys):
176                if len(values) == len(import_keys) + len(info_keys):
177                    msg += "fields from pending file in headline"
178                else:
179                    msg += "%d fields in headline but %d values" % (len(import_keys),len(values))
180                break
181            for k in import_keys:
182                if k in singels:
183                    keys += (k,'%s' % k,values[i],'(duplicate)'),
184                    msg += ("duplicate %s," % k)
185                    keys[singels.index(k)] = (k,'%s' % k,values[singels.index(k)],'(duplicate)')
186                elif k in invalid_keys and not k.startswith(IGNORE):
187                    keys += (k,NO_KEY,values[i],'(invalid)'),
188                else:
189                    keys += (k,k,values[i],''),
190                i += 1
191                singels += k,
192            break
193        return msg,keys
194    ###)
195###)
196
197class ApplicationImport(WAeUPImport):###(
198    name = "application"
199    plural_name = "%ss" % name
200    commit_after = 1000
201
202    def create(self,mapping):###(
203        reg_no = mapping.get('reg_no')
204        msg = ''
205        while True:
206            try:
207                self.applicants_catalog.addRecord(**mapping)
208            except ValueError:
209                msg =  "applicant record with reg_no %s already exists" % reg_no
210            break
211        return reg_no,msg,mapping
212    ###)
213
214    def edit(self,mapping):###(
215        reg_no = mapping.get('reg_no')
216        status = mapping.get('status')
217        msg = ''
218        while True:
219            res = self.applicants_catalog(reg_no = reg_no)
220            if len(res):
221                if res[0].status == 'created' and status != 'created':
222                    msg =  "student object with id %s for %s already created, status cannot be changed" % (res[0].student_id, reg_no)
223                elif status == 'created' and res[0].status != 'created':
224                    msg =  "student object for %s has not yet been created, status cannot be set to 'created'" % (reg_no)
225                else:
226                    self.applicants_catalog.modifyRecord(**mapping)
227            else:
228                msg =  "applicant record with reg_no %s does not exist" % reg_no
229            break
230        return reg_no,msg,mapping
231    ###)
232
233###)
234
235class CertificateImport(WAeUPImport):###(
236    name = "certificate"
237    plural_name = "%ss" % name
238    commit_after = 100000
239
240    def create(self,mapping):###(
241        if getattr(self,'_v_certificate_list',None) is None:
242            self._v_certificate_list = []
243        if getattr(self,'_v_department_certificates',None) is None:
244            departments = self.portal_catalog(portal_type = "Department")
245            self._v_department_certificates = {}
246            for department  in departments:
247                certificates_container = getattr(department.getObject(),"certificates",None)
248                self._v_department_certificates[department.getId] = {'container': certificates_container,
249                                                            'certificates': certificates_container.objectIds(),
250                                                            }
251        department_id = mapping['department_code']
252        msg = ''
253        certificate_id = mapping.get('code')
254        while True:
255            department_certificates = self._v_department_certificates.get(department_id,None)
256            if department_certificates is None:
257                msg =  "No Department with ID: %s" % department_id
258                break
259            certificates_container = department_certificates['container']
260            certificates = department_certificates['certificates']
261            if certificate_id in self._v_certificate_list:
262                msg =  "Duplicate Certificate ID: %s" % department_id
263                break
264            if certificate_id in certificates:
265                msg =  "Duplicate Certificate ID: %s" % department_id
266                break
267            try:
268                certificates_container.invokeFactory('Certificate', certificate_id)
269            except BadRequest,E:
270                msg =  "%s" % E
271                break
272            self._v_certificate_list.append(certificate_id)
273            certificate = getattr(certificates_container,certificate_id)
274            certificate.getContent().edit(mapping=mapping)
275            break
276        return certificate_id,msg,mapping
277    ###)
278
279    def edit(self,mapping):###(
280        certificate_id = mapping.get('code')
281        res = self.portal_catalog(id=certificate_id)
282        msg = ''
283        while True:
284            if not res:
285                msg =  "no certificate with id: %s" % certificate_id
286                break
287            c = res[0].getObject()
288            c.getContent().edit(mapping=mapping)
289            break
290        return certificate_id,msg,mapping
291    ###)
292###)
293
294class CourseImport(WAeUPImport):###(
295    name = "course"
296    plural_name = "%ss" % name
297    commit_after = 1000
298
299    def create(self,mapping):###(
300        if getattr(self,'_v_course_list',None) is None:
301            self._v_course_list = []
302        if getattr(self,'_v_department_courses',None) is None:
303            departments = self.portal_catalog(portal_type = "Department")
304            self._v_department_courses = {}
305            for department in departments:
306                courses_container = getattr(department.getObject(),"courses",None)
307                if courses_container is not None:
308                    self._v_department_courses[department.getId] = {'container': courses_container,
309                                                                    'courses': courses_container.objectIds(),
310                                                                   }
311        department_id = mapping['department_code']
312        course_id = mapping.get('code','')
313        msg = ''
314        while True:
315            department_courses = self._v_department_courses.get(department_id,None)
316            if department_courses is None:
317                msg =  "no department with id: %(department_id)s" % vars()
318                break
319            courses_container = department_courses['container']
320            courses = department_courses['courses']
321            if course_id in self._v_course_list:
322                msg =  "duplicate course id: %(course_id)s" % vars()
323                break
324            if course_id in courses:
325                msg =  "course %(course_id)s already exists in department %(department_id)s" % vars()
326                break
327            try:
328                courses_container.invokeFactory('Course', course_id)
329            except BadRequest,E:
330                msg =  "%s" % E
331                break
332            self._v_course_list.append(course_id)
333            course = getattr(courses_container,course_id)
334            course.getContent().edit(mapping=mapping)
335            break
336        return course_id,msg,mapping
337    ###)
338
339    def edit(self,mapping): ###(
340        course_id = mapping.get('code','')
341        course = self.courses_catalog.getRecordByKey(course_id)
342        msg = ''
343        while True:
344            if course is None:
345                msg =  "no course with id: %s" % course_id
346                break
347            course_object = getattr(getattr(getattr(getattr(self.academics_folder,course.faculty),
348                                    course.department),
349                                    'courses'),
350                                    course_id)
351            course_object.getContent().edit(mapping=mapping)
352            break
353        return course_id,msg,mapping
354    ###)
355###)
356
357class CourseResultImport(WAeUPImport):###(
358    """ CourseresultImport """
359    name = "course_result"
360    plural_name = "%ss" % name
361    commit_after = 1000000
362    required_modes = ('create','edit','remove')
363
364    def getStudentRecord(self,mapping): ###(
365        id_field_found = False
366        msg = ''
367        student_record = None
368        id_count = 0
369        for id_key in ('matric_no','id'):
370            id_field = mapping.get(id_key,'')
371            if id_field:
372                id_count += 1
373                search_key = id_key
374                search_field = id_field
375        while True:
376            #if id_count > 1:
377            #    msg = "both id and matric_no are provided"
378            #    break
379            if id_count == 0:
380                msg = "neither id nor matric_no provided"
381                break
382            query = Eq(search_key,search_field)
383            res = self.students_catalog.evalAdvancedQuery(query)
384            if res:
385                student_record = res[0]
386                if search_key == "matric_no":
387                    mapping['id'] = student_record.id
388                elif search_key == "id":
389                    mapping['matric_no'] = student_record.matric_no
390            else:
391                msg = "no student with %(search_key)s %(search_field)s" % vars()
392            break
393        return student_record,msg
394    ###)
395
396    def create(self,mapping):###(
397        students_folder = self.portal_url.getPortalObject().campus.students
398        if getattr(self,'_v_courses',None) is None:
399            res = self.courses_catalog()
400            self._v_courses = {}
401            for brain in res:
402                self._v_courses[brain.code] = brain
403        if getattr(self,'_v_level_created',None) is None:
404            self._v_level_created = []
405        msg = ''
406        key = ''
407        while True:
408            course_id = mapping.get('code')
409            if course_id not in self._v_courses.keys():
410                msg = "no course with id: %s" % course_id
411                break
412            student_record,msg = self.getStudentRecord(mapping)
413            if msg:
414                break
415            student_id = student_record.id
416            level_id = mapping.get('level_id','')
417            code = mapping.get('code','')
418            if student_id not in self._v_level_created:
419                try:
420                    context = getattr(getattr(students_folder,
421                                            "%(student_id)s" % vars()),
422                                    'study_course')
423                except:
424                    msg = "could not create level %(level_id)s for %(student_id)s" % vars()
425                    break
426                if level_id not in context.objectIds():
427                    context.invokeFactory('StudentStudyLevel',"%(level_id)s" % vars())
428                    level = getattr(context,"%(level_id)s" % vars())
429                    self.portal_workflow.doActionFor(level,'open')
430                    # the session string must not be copied into the level object
431                    current_verdict = getattr(student_record,'current_verdict','')
432                    current_session = getattr(student_record,'current_session','')
433                    if current_verdict and student_record.current_level == level_id:
434                        level.getContent().edit(mapping={'verdict': "%s" %
435                                                        current_verdict,
436                                                        'session': "%s" %
437                                                        current_session,
438                                                        })
439                        self.portal_workflow.doActionFor(level,'close')
440                self._v_level_created += student_id,
441            mapping['key'] = key = "%(student_id)s|%(level_id)s|%(code)s" % vars()
442            for k in ('semester','credits',):
443                mapping[k] = getattr(self._v_courses[course_id],k)
444            try:
445                self.course_results.addRecord(**mapping)
446            except ValueError:
447                msg = "course result already exists: %s" % key
448            break
449        return key,msg,mapping
450    ###)
451
452    def edit(self,mapping): ###(
453        msg = ''
454        key = ''
455        while True:
456            student_record,msg = self.getStudentRecord(mapping)
457            if msg:
458                break
459            student_id = student_record.id
460            level_id = mapping.get('level_id','')
461            code = mapping.get('code','')
462            code = mapping['code']
463            mapping['key'] = key = "%(student_id)s|%(level_id)s|%(code)s" % vars()
464            if self.course_results.getRecordByKey(key) is None:
465                msg =  "no course result with key %(key)s" % vars()
466                break
467            self.course_results.modifyRecord(**mapping)
468            break
469        return key,msg,mapping
470    ###)
471
472    def remove(self,mapping):###(
473        key = ''
474        msg = ''
475        while True:
476            student_record,msg = self.getStudentRecord(mapping)
477            if msg:
478                break
479            student_id = student_record.id
480            level_id = mapping.get('level_id','')
481            code = mapping.get('code','')
482            key = "%(student_id)s|%(level_id)s|%(code)s" % vars()
483            if self.course_results.getRecordByKey(key) is None:
484                msg =  "no course result with key %(key)s" % vars()
485                break
486            self.course_results.deleteRecord(key)
487            break
488        return key,msg,mapping
489    ###)
490
491###)
492
493
494class StudentStudyLevelImport(WAeUPImport):###(
495    """ StudentStudyLevelImport """
496    name = "student_study_level"
497    plural_name = "%ss" % name
498    commit_after = 1000000
499    required_modes = ('create','edit','remove')
500
501class CertificateCourseImport(WAeUPImport):###(
502    name = "certificate_course"
503    plural_name = "%ss" % name
504    commit_after = 100000
505    required_modes = ('create','edit')
506
507    def create(self,mapping):
508        if getattr(self,'_v_courses',None) is None:
509            res = self.courses_catalog()
510            self._v_courses= [course.code for course in res]
511        if getattr(self,'_v_ceritficates',None) is None:
512            res = self.portal_catalog(portal_type = "Certificate")
513            self._v_certificates = {}
514            for cert in res:
515                self._v_certificates[cert.getId] = cert.getObject()
516        msg = ''
517        while True:
518            certificate_course_id = mapping.get('code')
519            if certificate_course_id not in self._v_courses:
520                msg =  "no course with id: %s" % certificate_course_id
521                break
522            cert_id = mapping['certificate_code']
523            cert = self._v_certificates.get(cert_id,None)
524            if cert is None:
525                msg =  "no certificate with id: %s" % cert_id
526                break
527            level_id = mapping.get('level')
528            level = getattr(cert,level_id,None)
529            if level is None:
530                cert.invokeFactory('StudyLevel', level_id)
531                level = getattr(cert,level_id,None)
532            elif hasattr(level,certificate_course_id):
533                msg =  "duplicate certificate course id: %(certificate_course_id)s " % vars()
534                msg += "in %(cert_id)s/ %(level_id)s" % vars()
535                break
536            level.invokeFactory('CertificateCourse', certificate_course_id)
537            c = getattr(level,certificate_course_id)
538            c.getContent().edit(mapping=mapping)
539            break
540        return certificate_course_id,msg,mapping
541    ###)
542
543class DepartmentImport(WAeUPImport):###(
544    name = "department"
545    plural_name = "%ss" % name
546    commit_after = 1000
547
548    def create(self,mapping):###(
549        "create a department in the correct faculty"
550        faculty_id = mapping['faculty_code']
551        msg = ''
552        if getattr(self,'_v_faculties',None) is None:
553            res = self.portal_catalog(portal_type = "Department")
554            self._v_faculties = {}
555            for f in res:
556                self._v_faculties[f.getId] = f.getObject()
557        department_id = mapping.get('code','')
558        while True:
559            faculty = self._v_faculties.get(faculty_id,None)
560            if faculty is None:
561                msg =  "no faculty with id: %s" % faculty_id
562                break
563            else:
564                d = getattr(faculty,department_id,None)
565                if d is None or d.portal_type == "Faculty":
566                    try:
567                        faculty.invokeFactory('Department', department_id)
568                    except BadRequest,E:
569                        msg =  "%s" % E
570                        break
571                    d = getattr(faculty,department_id)
572                    d.invokeFactory('CoursesFolder','courses')
573                    courses = getattr(d,'courses')
574                    dict = {'Title': 'Courses'}
575                    courses.getContent().edit(mapping=dict)
576                    d.invokeFactory('CertificatesFolder','certificates')
577                    certificates = getattr(d,'certificates')
578                    dict = {'Title': 'Certificates'}
579                    certificates.getContent().edit(mapping=dict)
580                    d.getContent().edit(mapping=mapping)
581            break
582        return department_id,msg,mapping
583    ###)
584
585    def edit(self,mapping): ###(
586        "edit a department in the correct faculty"
587        academics_folder = self.portal_url.getPortalObject().campus.academics
588        faculty_id = mapping['faculty_code']
589        department_id = mapping.get('code','')
590        msg = ''
591        while True:
592            try:
593                d = getattr(getattr(academics_folder,faculty_id),department_id,None)
594            except KeyError:
595                msg =  "department %s or faculty %s wrong" % (department_id,faculty_id)
596                break
597            if d is None or d.portal_type == "Faculty":
598                msg =  "department %s not found" % (department_id)
599                break
600            d.getContent().edit(mapping=mapping)
601            break
602        return department_id,msg,mapping
603    ###)
604###)
605
606class FacultyImport(WAeUPImport):###(
607    name = "faculty"
608    plural_name = "faculties"
609    commit_after = 100
610
611    def create(self,mapping): ###(
612        "create a faculty"
613        academics_folder = self.portal_url.getPortalObject().campus.academics
614        faculty_id = mapping.get('code','')
615        msg = ''
616        while True:
617            if faculty_id in academics_folder.objectIds():
618                msg =  "faculty with id: %s exists" % faculty_id
619                break
620            logger.info('Creating Faculty %(code)s, %(title)s' % mapping)
621            try:
622                academics_folder.invokeFactory('Faculty', faculty_id)
623            except BadRequest,E:
624                msg =  "%s" % E
625                break
626            f = getattr(academics_folder,faculty_id,None)
627            f.getContent().edit(mapping=mapping)
628            break
629        return faculty_id,msg,mapping
630        ###)
631
632    def edit(self,mapping): ###(
633        "edit a faculty"
634        academics_folder = self.portal_url.getPortalObject().campus.academics
635        faculty_id = mapping['code']
636        msg = ''
637        while True:
638            f = getattr(academics_folder,faculty_id,None)
639            if f is None:
640                msg =  "faculty with id: %s does not exist" % faculty_id
641            f.getContent().edit(mapping=mapping)
642            break
643        return faculty_id,msg,mapping
644    ###)
645###)
646
647class StudentImport(WAeUPImport):###(
648    name = "student"
649    plural_name = "%ss" % name
650    commit_after = 100
651
652    field2types_student = {   ###(
653                      'StudentApplication':
654                          {'id': 'application',
655                           'title': 'Application Data',
656                           'wf_transition_return': 'close',
657                           'wf_transition_admit': 'remain',
658                           'fields':
659                             ('jamb_reg_no',
660                              'entry_mode',
661                              'entry_session',
662                              'jamb_score',
663                              'app_email',
664                              'jamb_age',
665                              'jamb_state',
666                              'jamb_lga',
667                              'jamb_sex',
668                              )
669                              },
670                      #'StudentPume':
671                      #    {'id': 'pume',
672                      #     'title': 'Pume Data',
673                      #     'wf_transition_return': 'close',
674                      #     'wf_transition_admit': 'close',
675                      #     'fields':
676                      #       ('pume_score',
677                      #        )
678                      #        },
679                      'StudentClearance':
680                          {'id': 'clearance',
681                           'title': 'Clearance/Eligibility Record',
682                           'wf_transition_return': 'close',
683                           'wf_transition_admit': 'remain',
684                           'fields':
685                             ('matric_no',
686                              'nationality',
687                              'lga',
688                              'birthday',
689                              )
690                              },
691                         'StudentPersonal':
692                          {'id': 'personal',
693                           'title': 'Personal Data',
694                           'wf_transition_return': 'open',
695                           'wf_transition_admit': 'remain',
696                           'fields':
697                             ('firstname',
698                              'middlename',
699                              'lastname',
700                              'sex',
701                              'email',
702                              'phone',
703                              'perm_address',
704                              )
705                              },
706                         'StudentStudyCourse':
707                          {'id': 'study_course',
708                           'title': 'Study Course',
709                           'wf_transition_return': 'open',
710                           'wf_transition_admit': 'remain',
711                           'fields':
712                             ('study_course',
713                              'current_level',
714                              'current_session',
715                              'current_mode',
716                              'current_verdict',
717                              'previous_verdict',
718                              )
719                              },
720                         # 'StudentStudyLevel':
721                         #  {'id': 'current_level',
722                         #   'title': '',
723                         #   'wf_transition_return': 'open',
724                         #   'wf_transition_admit': 'remain',
725                         #   'fields':
726                         #     ('verdict',
727                         #      'session',
728                         #      )
729                         #      },
730                         'PaymentsFolder':
731                          {'id': 'payments',
732                           'title': 'Payments',
733                           'wf_transition_return': 'open',
734                           'wf_transition_admit': 'open',
735                           'fields':
736                             ()
737                              },
738                         }
739    ###)
740
741    def create(self,mapping): ###(
742        "create student records due import"
743        logger = logging.getLogger('WAeUPTool.mass_create_student')
744        students_folder = self.portal_url.getPortalObject().campus.students
745        jamb_reg_no = mapping.get('jamb_reg_no',None)
746        matric_no = mapping.get('matric_no',None)
747        msg = ''
748        student_id = mapping.get('id',None)
749        while True:
750            if student_id:
751                msg = "student_id must not be specified in create mode"
752                break
753            if jamb_reg_no:
754                res = self.students_catalog(jamb_reg_no = jamb_reg_no)
755                if res:
756                    msg = "jamb_reg_no exists"
757                    break
758            if matric_no:
759                res = self.students_catalog(matric_no = matric_no)
760                if res:
761                    msg = "matric_no exists"
762                    break
763            if not matric_no and not jamb_reg_no:
764                msg = "jamb_reg_no or matric_no must be specified"
765                break
766            student_id = self.waeup_tool.generateStudentId('?')
767            students_folder.invokeFactory('Student', student_id)
768            student_obj = getattr(students_folder,student_id)
769            f2t = self.field2types_student
770            d = {}
771            transition = mapping.get('reg_transition','admit')
772            if transition not in ('admit','return'):
773                msg = "no valid transition provided"
774                break
775            for pt in f2t.keys():
776                student_obj.invokeFactory(pt,f2t[pt]['id'])
777                sub_obj = getattr(student_obj,f2t[pt]['id'])
778                sub_doc = sub_obj.getContent()
779                d['Title'] = f2t[pt]['title']
780                for field in f2t[pt]['fields']:
781                    d[field] = mapping.get(field,'')
782
783                if pt == "StudentApplication":
784                    #d['jamb_sex']  = 'M'
785                    #if mapping.get('sex'):
786                    #    d['jamb_sex']  = 'F'
787                    d['jamb_firstname'] = mapping.get('firstname',None)
788                    d['jamb_middlename'] = mapping.get('middlename',None)
789                    d['jamb_lastname'] = mapping.get('lastname',None)
790
791                # if pt == "StudyCourse":
792                #     for von,zu in (('entry_mode','current_mode'),
793                #                    ('entry_session','current_session')):
794                #         if mapping.get(zu,None) is None and mapping.get(von,None) is not None:
795                #             d[zu] = mapping[von]
796                sub_doc.edit(mapping = d)
797
798                #import pdb;pdb.set_trace()
799                new_state = f2t[pt]['wf_transition_%(transition)s' % vars()]
800                if new_state != "remain":
801                    self.portal_workflow.doActionFor(sub_obj,new_state,dest_container=sub_obj)
802            self.portal_workflow.doActionFor(student_obj,transition)
803            student_obj.manage_setLocalRoles(student_id, ['Owner',])
804            mapping['id'] = student_id
805            break
806        return student_id,msg,mapping
807    ###)
808
809    def edit(self,mapping): ###(
810        wftool = self.portal_workflow
811        "edit student records due import"
812        logger = logging.getLogger('WAeUPTool.mass_edit_student')
813        students_folder = self.portal_url.getPortalObject().campus.students
814        student_id = mapping.get('id',None)
815        jamb_reg_no = mapping.get('jamb_reg_no',None)
816        matric_no = mapping.get('matric_no',None)
817        editable_keys = mapping.keys()
818        msg = ''
819        while True:
820            if student_id:
821                res = self.students_catalog(id = student_id)
822                if not res:
823                    msg = "no student with id %s" % student_id
824                    break
825                student_record = res[0]
826                if matric_no and student_record.matric_no:
827                    if  matric_no != student_record.matric_no:
828                        msg = "old matric_no %s overwritten with %s" % (student_record.matric_no,matric_no)
829                        #logger.info("%s, old matric_no %s overwritten with %s" % (student_record.id,student_record.matric_no,matric_no))
830                if jamb_reg_no and student_record.jamb_reg_no:
831                    if jamb_reg_no != student_record.jamb_reg_no:
832                        msg = "old reg_no %s overwritten with %s" % (student_record.jamb_reg_no,jamb_reg_no)
833                        #logger.info("%s, old reg_no %s overwritten with %s" % (student_record.id,student_record.jamb_reg_no,jamb_reg_no))
834            elif jamb_reg_no:
835                res = self.students_catalog(jamb_reg_no = jamb_reg_no)
836                if not res:
837                    msg = "no student with jamb_reg_no %s" % jamb_reg_no
838                    break
839                student_record = res[0]
840                editable_keys.remove('jamb_reg_no')
841            elif matric_no:
842                res = self.students_catalog(matric_no = matric_no)
843                if not res:
844                    msg = "no student with matric_no %s" % matric_no
845                    break
846                student_record = res[0]
847                editable_keys.remove('matric_no')
848            ## included only to change wf state from admitted to returning
849            #if student_record.review_state not in ('admitted','objection_raised'):
850            #    return '%s' % student_record.id ,"student is not in state admitted or objection_raised"
851            ## end inclusion
852            student_id = student_record.id
853            student_obj = getattr(students_folder,student_id)
854            f2t = self.field2types_student
855            d = {}
856            any_change = False
857            #special treatment for StudentStudyLevel
858            d['verdict']  = mapping.get('current_verdict','')
859            d['session']  = mapping.get('current_session','')
860            current_level = mapping.get('current_level','')
861            while d['session'] and d['verdict'] and current_level:
862                sub_obj = getattr(student_obj,'study_course',None)
863                if sub_obj is None:
864                    break
865                level_obj = getattr(sub_obj,current_level,None)
866                if  level_obj is None:
867                    break
868                any_change = True
869                level_obj.getContent().edit(mapping = d)
870                try:
871                    wftool.doActionFor(level_obj,'close')
872                except:
873                    pass
874                break
875            for pt in f2t.keys():
876                #if pt == "StudentApplication":
877                #    d['jamb_sex']  = 'M'
878                #    if mapping.get('sex'):
879                #        d['jamb_sex']  = 'F'
880                intersect = set(f2t[pt]['fields']).intersection(set(editable_keys))
881                if intersect and pt not in ('StudentStudyLevel',):
882                    object_id = f2t[pt]['id']
883                    sub_obj = getattr(student_obj,object_id,None)
884                    if sub_obj is None:
885                        try:
886                            student_obj.invokeFactory(pt,object_id)
887                        except:
888                            continue
889                        sub_obj = getattr(student_obj,object_id)
890                        if f2t[pt]['title'] != '':
891                            d['Title'] = f2t[pt]['title']
892                    sub_doc = sub_obj.getContent()
893                    for field in intersect:
894                        changed = False
895                        if getattr(sub_doc,field,None) != mapping.get(field,''):
896                            any_change = True
897                            changed = True
898                            d[field] = mapping.get(field,'')
899                        if changed:
900                            sub_doc.edit(mapping = d)
901            ## included only to change wf state from admitted to returning
902            #    if student_record.review_state in ('admitted','objection_raised'):
903            #        new_state = f2t[pt]['wf_transition_return']
904            #        sub_obj = getattr(student_obj,f2t[pt]['id'],None)
905            #        if sub_obj and new_state != "remain":
906            #            try:
907            #                self.portal_workflow.doActionFor(sub_obj,new_state,dest_container=sub_obj)
908            #            except:
909            #                #logger.info('%s, wf transition %s of %s failed' % (student_id,new_state,sub_obj.id))
910            #                pass
911            #if student_record.review_state in ('admitted','objection_raised'):
912            #    wfaction = 'return'
913            #    try:
914            #        self.portal_workflow.doActionFor(student_obj,wfaction)
915            #        logger.info('%s, wf state changed' % student_id)
916            #        any_change = True
917            #    except:
918            #        logger.info('%s, wf transition failed, old state = %s' % (student_id,student_record.review_state))
919            #        pass
920            ## end inclusion
921            break
922        # if not any_change:
923        #     msg = 'not modified'
924        return student_id,msg,mapping
925    ###)
926###)
927
928class VerdictImport(WAeUPImport):###(
929    """ VerdictImport """
930    name = "verdict"
931    plural_name = "%ss" % name
932    commit_after = 100000
933    required_modes = ('create','edit')
934
935    def create(self,mapping):
936        "edit student verdicts and create StudentStudyLevel object if not existent"
937        wftool = self.portal_workflow
938        logger = logging.getLogger('WAeUPTool.mass_edit_verdict')
939        students_folder = self.portal_url.getPortalObject().campus.students
940        student_id = mapping.get('id',None)
941        matric_no = mapping.get('matric_no',None)
942        editable_keys = mapping.keys()
943        while True:
944            key = ''
945            msg = ''
946            if student_id:
947                student_record = self.students_catalog.getRecordByKey(student_id)
948                if student_record is None:
949                    #return '',"no student with id %s" % student_id
950                    msg = "no student with id %s" % student_id
951                    break
952                if matric_no and student_record.matric_no and matric_no != student_record.matric_no:
953                    msg = 'student %s: matric_no %s does not match %s' % (student_record.id,
954                                                                          student_record.matric_no,
955                                                                          matric_no)
956                    break
957                mapping['matric_no'] = student_record.matric_no
958            elif matric_no:
959                res = self.students_catalog(matric_no = matric_no)
960                if not res:
961                    msg = "no student with matric_no %s" % matric_no
962                    break
963                student_record = res[0]
964                editable_keys.remove('matric_no')
965            else:
966                msg = "no id or matric_no specified"
967                break
968            student_id = student_record.id
969            mapping['id'] = student_id
970            d = {}
971            #import pdb;pdb.set_trace()
972            any_change = False
973            #special treatment for StudentStudyLevel
974            current_session = d['session'] = mapping.get('current_session','')
975            if current_session and student_record.session != current_session:
976                msg = 'student %s: imported session %s does not match current_session %s' % (student_id,
977                                                                                            current_session,
978                                                                                            student_record.session)
979                break
980            current_level = mapping.get('current_level','')
981            if not current_level.isdigit():
982                msg = 'student %s: imported level is empty' % (student_id,)
983                break
984            if current_level and student_record.level != current_level:
985                msg = 'student %s: imported level %s does not match current_level %s' % (student_id,
986                                                                                        current_level,
987                                                                                        student_record.level)
988                break
989            student_review_state =  student_record.review_state
990            if student_review_state == 'deactivated':
991                msg = "student %s in review_state %s" % (student_id, student_review_state)
992                break
993            if student_review_state not in ('courses_validated','returning'):
994                msg = "student %s in wrong review_state %s" % (student_id, student_review_state)
995                break
996            student_obj = getattr(students_folder,student_id)
997            # f2t = self.field2types_student
998            study_course_obj = getattr(student_obj,'study_course',None)
999            if study_course_obj is None:
1000                msg = 'student %s: no study_course object' % student_id
1001                break
1002            level_obj = getattr(study_course_obj,current_level,None)
1003
1004            if  level_obj is None:
1005                # The only difference to the edit method is that we create a StudentStudyLevel object
1006                try:
1007                    study_course_obj.invokeFactory('StudentStudyLevel',"%s" % current_level)
1008                    level_obj = getattr(context,"%s" % current_level)
1009                    level_obj.portal_workflow.doActionFor(level,'open')
1010                except:
1011                    continue
1012                #msg = 'student %s: no study_level object for level %s' % (student_id,
1013                #                                                                current_level)
1014                #break
1015
1016            verdict = d['verdict'] = d['current_verdict']  = mapping.get('current_verdict','')
1017
1018            #if verdict == student_record.verdict:
1019            #    msg = 'student %s: verdict already set to %s' % (student_id,
1020            #                                                            verdict)
1021
1022            level_review_state = wftool.getInfoFor(level_obj,'review_state',None)
1023            if level_review_state != "closed":
1024                wftool.doActionFor(level_obj,'close')
1025                # msg = 'student %s: level %s is not closed' % (student_id,
1026                #                                                      current_level)
1027
1028            study_course_obj.getContent().edit(mapping = d)
1029            level_obj.getContent().edit(mapping = d)
1030            if student_review_state != "returning":
1031                wftool.doActionFor(student_obj,'return')
1032            # try:
1033            #     wftool.doActionFor(level_obj,'close')
1034            # except:
1035            #     pass
1036            break
1037        return student_id,msg,mapping
1038
1039
1040    def edit(self,mapping):
1041        "edit student verdicts"
1042        wftool = self.portal_workflow
1043        logger = logging.getLogger('WAeUPTool.mass_edit_verdict')
1044        students_folder = self.portal_url.getPortalObject().campus.students
1045        student_id = mapping.get('id',None)
1046        matric_no = mapping.get('matric_no',None)
1047        editable_keys = mapping.keys()
1048        while True:
1049            key = ''
1050            msg = ''
1051            if student_id:
1052                student_record = self.students_catalog.getRecordByKey(student_id)
1053                if student_record is None:
1054                    #return '',"no student with id %s" % student_id
1055                    msg = "no student with id %s" % student_id
1056                    break
1057                if matric_no and student_record.matric_no and matric_no != student_record.matric_no:
1058                    msg = 'student %s: matric_no %s does not match %s' % (student_record.id,
1059                                                                          student_record.matric_no,
1060                                                                          matric_no)
1061                    break
1062                mapping['matric_no'] = student_record.matric_no
1063            elif matric_no:
1064                res = self.students_catalog(matric_no = matric_no)
1065                if not res:
1066                    msg = "no student with matric_no %s" % matric_no
1067                    break
1068                student_record = res[0]
1069                editable_keys.remove('matric_no')
1070            else:
1071                msg = "no id or matric_no specified"
1072                break
1073            student_id = student_record.id
1074            mapping['id'] = student_id
1075            d = {}
1076            #import pdb;pdb.set_trace()
1077            any_change = False
1078            #special treatment for StudentStudyLevel
1079            current_session = d['session'] = mapping.get('current_session','')
1080            if current_session and student_record.session != current_session:
1081                msg = 'student %s: imported session %s does not match current_session %s' % (student_id,
1082                                                                                            current_session,
1083                                                                                            student_record.session)
1084                break
1085            current_level = mapping.get('current_level','')
1086            if not current_level.isdigit():
1087                msg = 'student %s: imported level is empty' % (student_id,)
1088                break
1089            if current_level and student_record.level != current_level:
1090                msg = 'student %s: imported level %s does not match current_level %s' % (student_id,
1091                                                                                        current_level,
1092                                                                                        student_record.level)
1093                break
1094            student_review_state =  student_record.review_state
1095            if student_review_state == 'deactivated':
1096                msg = "student %s in review_state %s" % (student_id, student_review_state)
1097                break
1098            if student_review_state not in ('courses_validated','returning'):
1099                msg = "student %s in wrong review_state %s" % (student_id, student_review_state)
1100                break
1101            student_obj = getattr(students_folder,student_id)
1102            # f2t = self.field2types_student
1103            study_course_obj = getattr(student_obj,'study_course',None)
1104            if study_course_obj is None:
1105                msg = 'student %s: no study_course object' % student_id
1106                break
1107            level_obj = getattr(study_course_obj,current_level,None)
1108            if  level_obj is None:
1109                msg = 'student %s: no study_level object for level %s' % (student_id,
1110                                                                                current_level)
1111                break
1112            verdict = d['verdict'] = d['current_verdict']  = mapping.get('current_verdict','')
1113
1114            #if verdict == student_record.verdict:
1115            #    msg = 'student %s: verdict already set to %s' % (student_id,
1116            #                                                            verdict)
1117
1118            level_review_state = wftool.getInfoFor(level_obj,'review_state',None)
1119            if level_review_state != "closed":
1120                wftool.doActionFor(level_obj,'close')
1121                # msg = 'student %s: level %s is not closed' % (student_id,
1122                #                                                      current_level)
1123
1124            study_course_obj.getContent().edit(mapping = d)
1125            level_obj.getContent().edit(mapping = d)
1126            if student_review_state != "returning":
1127                wftool.doActionFor(student_obj,'return')
1128            # try:
1129            #     wftool.doActionFor(level_obj,'close')
1130            # except:
1131            #     pass
1132            break
1133        return student_id,msg,mapping
1134    ###)
1135
Note: See TracBrowser for help on using the repository browser.