feat: adapt mandatory test 6.1.11 for csaf 2.1 #211
Merged
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Should pass the test (valid example 4) as the weakness was called "Sensitive Information Accessible by Physical Probing of JTAG Interface" in 4.9
Should pass the test (valid example 5) as the weakness was called "System-on-Chip (SoC) Using Components without Unique, Immutable Identifiers" in 4.13.
Should fail the test (failing example 2) as the weakness was not present in 4.12 (but added in 4.13; see https://cwe.mitre.org/data/reports/diff_reports/v4.12_v4.13.html)
Should fail the test (failing example 4) as the weakness was called "System-on-Chip (SoC) Using Components without Unique, Immutable Identifiers" in 4.13. Did you just check against the latest version? |
tschmidtb51
requested changes
Feb 19, 2025
Comment on lines
52
to
93
| for (let i = 0; i < doc.vulnerabilities.length; ++i) { | ||
| const vulnerability = doc.vulnerabilities[i] | ||
| for (let j = 0; j < vulnerability.cwes.length; ++j) { | ||
| const cwe = vulnerability.cwes.at(i) | ||
| if (validateCWE(cwe)) { | ||
| const entry = cwec.weaknesses.find((w) => w.id === cwe.id) | ||
| if (!entry) { | ||
| isValid = false | ||
| errors.push({ | ||
| instancePath: `/vulnerabilities/${i}/cwes/${j}/id`, | ||
| message: 'no weakness with this id is recognized', | ||
| }) | ||
| continue | ||
| } | ||
| if (entry.name !== cwe.name) { | ||
| isValid = false | ||
| errors.push({ | ||
| instancePath: `/vulnerabilities/${i}/cwes/${j}/name`, | ||
| message: 'the name does not match the weakness with the given id', | ||
| }) | ||
| continue | ||
| } | ||
| } | ||
| } | ||
| } |
There was a problem hiding this comment.
Where is the version considered?
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
43c7fee to
47510f2
Compare
|
Okay, now I included all catalogues that are necessary for the tests. We should probably discuss in the meeting next week, how many catalogue versions should be embedded in the lib. |
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
47510f2 to
64bf3f2
Compare
domachine
changed the base branch from
196-csaf-2.1
to
196-csaf-2.1-exclude-unimplemented-tests-from-test-suite
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1-exclude-unimplemented-tests-from-test-suite
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
tschmidtb51
reviewed
Feb 27, 2025
Base automatically changed from
196-csaf-2.1-exclude-unimplemented-tests-from-test-suite
to
196-csaf-2.1
February 27, 2025 09:44
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
64bf3f2 to
9238623
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
9238623 to
eb90422
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
@domachine To be conforming: all available. |
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
eb90422 to
5399bd4
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
@tschmidtb51 now I included all available cwe catalogues. I also rebased the branch on the branch with the new test script (#220) so that you can use this to run the test against individual csaf files. |
domachine
changed the base branch from
196-csaf-2.1
to
217-csaf-2.1-test-script
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
5399bd4 to
b38d58c
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
rainer-exxcellent
requested changes
Mar 6, 2025
| /** @type {Array<{ message: string; instancePath: string }>} */ | ||
| const errors = [] | ||
| let isValid = true | ||
| debugger |
There was a problem hiding this comment.
Please remove debugger statement
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
b38d58c to
4062f49
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
4062f49 to
b8f9111
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Should be addressed now: https://github.com/secvisogram/csaf-validator-lib/pull/211/files#diff-29c641a5d6c5ab8670725896043cdecfc264a29d9bde9718175f1baac2e1078bR79 |
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
b8f9111 to
bc8f6be
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
@tschmidtb51 Can you have a look here? |
tschmidtb51
requested changes
Apr 25, 2025
There was a problem hiding this comment.
The file csaf/csaf_2.1/test/validator/data/mandatory/oasis_csaf_tc-csaf_2_1-2024-6-1-11-06.json reports errors:
{
"tests": [
{
"isValid": false,
"errors": [
{
"instancePath": "/vulnerabilities/1/cwes/0/id",
"message": "no weakness with this id is recognized in CWE 4.13"
},
{
"instancePath": "/vulnerabilities/1/cwes/1/id",
"message": "no weakness with this id is recognized in CWE 4.13"
}
],
"warnings": [],
"infos": [],
"name": "mandatoryTest_6_1_11"
}
],
"isValid": false
}
If I looked it up correctly, CWE-645 is valid (but reported). The other one is fine. What am I missing?
| id: 'CWE-644', | ||
| name: 'Improper Neutralization of HTTP Headers for Scripting Syntax', | ||
| }, | ||
| { id: 'CWE-645', name: 'Overly Restrictive Account Lockout Mechanism' }, |
There was a problem hiding this comment.
The CWE also exists here...
There was a problem hiding this comment.
Thank you very much. That was indeed an index bug. I just fixed it.
| isValid = false | ||
| errors.push({ | ||
| instancePath: `/vulnerabilities/${i}/cwes/${j}/name`, | ||
| message: 'the name does not match the weakness with the given id', |
There was a problem hiding this comment.
As the name could be present in a different version, I guess we should be more specific:
Suggested change
| message: 'the name does not match the weakness with the given id', | |
| message: 'the name does not match the weakness with the given id in CWE ${cwe.version}', |
There was a problem hiding this comment.
Thank you. I changed that.
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
bc8f6be to
2d3e54f
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
2d3e54f to
9d595af
Compare
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
9d595af to
9c411b0
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Potentially invalid test cases:
All of the above test cases fail against the new test. I checked them manually and I think that they are invalid.